IGTI Blog

O que é ETL e qual sua importância entre os processos de BI

Quando falamos de BI (Business Intelligence) é quase obrigatório falarmos sobre o processo de ETL. A sigla significa Extração, Transformação e Carga (em inglês Extract, Transform and Load) e visa trabalhar com toda a parte de extração de dados de fontes externas. Essa transformação busca atender às necessidades de negócios e carga dos dados dentro do Data Warehouse ou Data Mart ou para demandas de importação e exportação de dados.

       EXTRAÇÃO: fase em que os dados são extraídos dos OLTPs e conduzidos para a staging area (área de transição ou área temporária), onde são convertidos para um único formato.

       TRANSFORMAÇÃO: É nesta etapa que realizamos os devidos ajustes, podendo assim melhorar a qualidade dos dados e consolidar dados de duas ou mais fontes.

       CARGA: Consiste em fisicamente estruturar e carregar os dados para dentro da camada de apresentação seguindo o modelo dimensional.

O processo de ETL hoje é considerado um dos processos mais importantes dentro de um projeto de BI. É uma das fases mais críticas. É onde fica a inteligência. É onde são definidas e implementadas as regras referentes ao negócio.

O ETL é fundamental para qualquer iniciativa de DW

O processo de ETL é essencial para a criação das estruturas de Dimensões e Fatos no ambiente do DW. É ele que faz a ligação entre o operacional e o DW. O processo deve ser bem planejado para evitar transtornos futuros e até mesmo para que não ocasione, em casos extremos, a interrupção dos sistemas operacionais da empresa. Dessa forma, o DW terá informações tratadas, com qualidade e grande valor para apoiar as decisões organizacionais. Um bom ETL deve ter escalabilidade e ser manutenível. Devemos analisar a janela de operação, pois como trabalha com grandes volumes de dados não é em qualquer momento que ele poderá ser executado. Devemos também analisar a periodicidade de execução.    

Um processo bem definido e bem desenvolvido é fator importantíssimo para o sucesso do projeto. Portanto, devemos tratar o ETL como sendo o “cordão umbilical” que une e possibilita a condução dos dados ao DW.

Esse processo não é visto pela área usuária, por isso muitas vezes não se dá a ele a sua devida importância. Mas tudo depende dele. Sem o ETL não há como se ter BI.

O processo de ETL pode ser representado pela imagem abaixo:

processo ETL

Para ajudar no desenvolvimento ETL temos hoje infinitas possibilidades de ferramentas no mercado. Todas elas com o objetivo de padronizar e facilitar esse desenvolvimento.

Devemos escolher bem as ferramentas que darão suporte ao processo, pois são essenciais para a correta execução das atividades do ETL.

Exemplos de ferramentas

POWER CENTER INFORMÁTICA: Plataforma de integração de dados de ponta a ponta. Agilidade de integração de dados. Escalabilidade empresarial. Segurança operacional

DATA STAGE IBM: Aumento de desempenho e reduz operações de I/O através de sua capacidade de realizar agregações e ordenações de maneira interna, enquanto outras ferramentas utilizam sentenças SQL e tabelas intermediárias. Execução paralela dos processos de carga.

Professora autora: Fernanda Garro