Buscando dados da Internet e carregando no Power BI – Web Scraping


 

O que é, e como funciona esse processo de Web Scraping ?

Web scraping é uma técnica que permite extrair informações dos websites. Este processo de busca de dados da internet certamente é uma das atividades que um cientista de dados precisar realizar, já que atualmente a maior parte dos dados estão na web. O processo basicamente consiste na busca de dados não estruturados das páginas web, normalmente em formato HTML, e a transformação destes dados em estruturados, possibilitando a criação de relatórios com maior facilidade.

Data Source Web Para o Power BI

Nesse post você aprenderá como importar uma tabela de dados de uma página da Web e criar um relatório para visualizar esses dados. Vou mostrar um pouco da funcionalidade de web scraping em uma ferramenta que, além da captura dos dados, permite também realizar a limpeza e a organização destes dados; gerar modelos lógicos relacionando estes dados; e, ainda, a criação de relatórios e dashboards interativos: o Power BI Desktop.

O maior item necessário para trazer a web para o Power BI Desktop está em tabelas html bem formadas. As tags da tabela parecem ser o componente-chave para puxar dados de uma página da Web.

Para esse exemplo irei utilizar o seguinte endereço web: https://pt.wikipedia.org/wiki/Lista_de_unidades_federativas_do_Brasil_por_popula%C3%A7%C3%A3o População das unidades federativas brasileiras segundo estimativas de agosto de 2017 do Instituto Brasileiro de Geografia e Estatística (IBGE)

Como base nesses dados irei criar uma relatório dinâmico no Power BI Desktop, aonde estarei usando somente as seguintes informações:

  1. Posição Por UF
  2. Quantidade da População Por UF
  3. Porcentagem da População Por Uf e a linha de crescimento

 

Demo

No Power BI Desktop, selecione Obter Dados > Web na faixa de opções Página Inicial.

 

Será aberta uma caixa de diálogo solicitando a URL da página da Web da qual você deseja importar os dados.

Depois de digitar ou colar a URL, selecione OK. O Power BI Desktop se conecta à página e apresenta os dados disponíveis da página na janela Navegador. Quando você seleciona um dos elementos de dados disponíveis, por exemplo, uma tabela da página inteira, a janela Navegador exibe uma visualização desses dados no lado direito da janela.

Preview da tabela clicando na opção a direita (Table View)

 

E clicando na opção Web View você poderá visualizar o site de onde está buscando aquele determinado dado.

 

É possível escolher o botão Editar, que inicia o Editor de Consultas, no qual você pode formatar e transformar os dados da página da Web antes de importá-los para o Power BI Desktop. Selecione o botão Carregar e importe todos os elementos de dados selecionados no painel esquerdo.

Quando selecionamos Carregar, o Power BI Desktop importa os itens selecionados e os disponibiliza no painel Campos, localizado no lado direito da exibição Relatórios no Power BI Desktop.

Como pode observar estou duas tabelas do web site: [Por região] e [Table 0]

Isso é tudo o que você irá precisar para se conectar a uma página da Web e inserir seus dados no Power BI Desktop.

A partir daí, você pode arrastar os campos para a tela Relatório e criar todas as visualizações desejadas. Você também pode trabalhar os dados nessa página da Web da mesma forma como faria com quaisquer outros dados – formatá-los, criar relações entre eles e outras fontes de dados no modelo e, de outro modo, fazer o que quiser para criar um relatório do Power BI exatamente como deseja.

Segue abaixo modelo que criei.

 

Obrigado pela visita, até mais.

Espero ajudar.


2 thoughts on “Buscando dados da Internet e carregando no Power BI – Web Scraping


Escreva um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *