Introdução – Integration Services

 

Este post tem como objetivo apresentar o ambiente de desenvolvimento de ETL (Extração, Tranformação e Carga) o Integration Services.

Microsoft SQL Server Integration Services ou SSIS, é uma ferramenta de ETL de nível empresarial: uma ferramenta para extrair, transformar e carregar dados.O Integration Services pode extrair e transformar dados de uma ampla variedade de fontes, como arquivos de dados XML, arquivos simples, e fontes de dados relacionais e transferir dados para um ou mais destinos.

Use o  Integration Services para solucionar problemas empresariais complexos copiando ou baixando arquivos, enviando mensagens de e-mail em resposta a eventos, atualizando data warehouses, fazendo a limpeza e mineração de dados e gerenciando objetos e dados do SQL Server.

ETL 

ETLProcess

O processo conhecido como ETL (sigla do inglês “Extraction, Transformation and Load”) funciona, em termos gerais, da seguinte forma: a partir de um repositório de origem serão extraídos dados, com os mesmos sendo transformados seguindo critérios específicos a um determinado contexto. Por fim, tais dados serão carregados numa base de destino.

É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.
Os projetos de data warehouse consolidam dados de diferentes fontes. A maioria dessas fontes tendem a ser bancos de dados relacionais ou arquivo de texto, mas podem existir outras fontes. Um sistema ETL tem que ser capaz de se comunicar com as bases de dados e ler diversos formatos de arquivos utilizados por toda a organização.

Para ter criar ETL no SSIS, terá que instalar o Visual Studio e o Data tools Business Inteligence. até o momento eu prefiro usar a versão 2013, se desejar segue o link aonde pode baixar, mas existe também as versões 2015

Visual Studio Studio Premium 2013 with Update 4

Data Tolls Business Intelligence 2013

Iniciando o projeto

1- File -> New -> Project – > Business Intelligence -> Integration Services

vs

2- Logo após irá seguir para a tela de controle de fluxo (Control Flow).

Screenshot_73

Na coluna da lateral esquerda Toolbox irá mostrar uma lista de vários tipos de componentes com variadas funcionalidades.

Essa página é dividida em abas menores. Segue uma breve explicação sobre cada uma:

Screenshot_76

  • Control Flow: Onde será realizado o desenvolvimento “macro” do projeto. Nessa parte é que serão realizadas as “Tasks” ou tarefas do pacote, basicamente é aonde é feito a organização da sequencia das tarefas/atividades.
  • Data Flow: Onde será realizada toda importação e exportação de dados. O Data Flow também é uma tarefa pertencente ao Control Flow e essa aba só será evitável se houver pelo menos um Data Flow no Control Flow. O relacionamento entre Control Flow e Data Flow é um dos itens que mais causa confusão quando se inicia em SSIS.
  • Event Handlers: Nessa parte podemos “tratar os eventos”, por exemplo, realizar tratamento de erros, verificar aonde aconteceu o erro, verificações de pré-execução e etc.
  • Package Explorer: Você obtém aqui informações sobre o pacote, tarefas criadas, variáveis e etc.
  • ParametersOs parâmetros podem ser definidos em 2 níveis diferentes.
  1. Projeto: Estes tipos de parâmetros estão disponíveis para todos os pacotes dentro do projeto SSIS. Pensar sobre eles como parâmetros globais. 
  2. Pacote: Estes tipos de parâmetros são destinadas a afetar apenas o pacote em que foram definidas

É importante ressaltar que os componentes da Toolbox mudam de acordo com o contexto, por exemplo, se o posicionamento do pacote for o Control Flow teremos um determinado grupo de componentes (Tasks e Contairners). Mas se o posicionamento for o Data Flow teremos outros grupos de componentes(Data Flow Sources, Data Flow Transformations e Data Flow Destinations). Em resumo, tenho um conjunto de componentes específicos para Control Flow e outro conjunto de componentes específicos para Data Flow

ToolBox – Control Flow

Control1        control2

ToolBox – Data Flow

Screenshot_79 Screenshot_80 Screenshot_81

BI-Solution2

Pra inicio é isso , valeu e até mais !!

🙂

Share on FacebookTweet about this on TwitterShare on LinkedIn


Escreva um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *