Quando falamos de utilização de um Data Warehouse, estamos nos referindo basicamente como ele funciona na prática. Como vimos anteriormente no artigo “O que é Data Warehouse?”, o Data Warehouse é um armazém de dados onde são inseridos dados de diversas fontes para que sejam consumidos pelas equipes de Business Intelligence ou times de negócios interessados através dos seus Data Marts.

Neste artigo, vamos saber tudo sobre como funciona esse sistema. Vamos lá?

Formas de utilização

Um Data Warehouse armazena dados tratados e limpos após o processo de ETL (Extract, transform and load). Porém, esses dados são tratados e entregues de acordo com as necessidades de quem irá consumi-los. Ou seja, os dados estão organizados e prontos para serem utilizados através de ferramentas de visualização, como o Power BI. 

Então, o principal objetivo e vantagens ao se utilizar um Data Warehouse é:

• Centralizar dados tratados (que podem vir de diversas fontes diferentes);
• Organizá-los para tomadas de decisão;
• Agilidade nas consultas (pois não haverá a necessidade de tratamento ou limpeza novamente já que o Data Warehouse armazena dados históricos);
• E separação por Data Marts, que nada mais é do que pedaços do Data Warehouse dividido por setor ou área de interesse da empresa.   

Por isso, o Data Warehouse é a base para unificar todos os seus sistemas e arquivos. Assim, será possível criar uma base única para montagem de relatórios e dashboards, concedendo tomadas de decisões mais assertivas.

Tutorial de construção de um Data Warehouse

Para a construção deste tutorial, vamos imaginar uma estrutura igual a imagem abaixo:

1° Passo – Levantamento de requisitos

Nesta etapa, precisamos identificar as necessidades de quem irá consumir os dados. Ou seja, o que será armazenado no Data Warehouse, o que ele terá, o que será visualizado e consumido pelas pessoas que terão acesso a ele.

2° Passo – Mapeamento e identificação dos dados

No caso da imagem acima, temos 4 fontes de dados (CRM, DATABASE, ERP e FILES), todas vindo de locais e sistemas diferentes, em que iremos verificar e documentar através de um dicionário de dados quais são os dados que serão utilizados para criação de um modelo de dados dimensional (que serão as tabelas dimensão e Fato do nosso Data Warehouse).

3° Passo – Criar um modelo de dados

O que é na prática criar um modelo de dados? É basicamente construir de acordo com o nosso mapeamento de dados um modelo/diagrama de como serão construídas nossas tabelas dimensão e tabelas fato somente com as colunas com os dados de interesse do nosso projeto.

4° Passo – ETL

Este 4º passo é o momento em que realizamos o tratamento dos dados. Agora que já temos um modelo de dados onde sabemos exatamente o que iremos usar em nosso projeto, basta extrair os dados das fontes (CRM, DATABASE, ERP e FILES) para a ferramenta que você usará para tratar os dados, realizar a limpeza, padronização, junções de tabelas, construção das tabelas fatos e dimensões todas de acordo com o modelo predefinido para que possa ser consumido através de ferramentas de visualização e relatórios.

5° Passo – Criação dos Data Marts

Aqui, como explicado anteriormente, nada mais é do que a segmentação. Ou seja, a divisão por área de interesse do dono do projeto que deseja separar os dados tratados do financeiro, compras e vendas, como mostrado na imagem a seguir. Aqui temos dois motivos básicos para sua utilização:

• 1) Organização: para facilitar o consumo dos dados por setor e não ficar todas as tabelas no mesmo espaço, agilizando o processo e tomada de decisão
• 2) Segurança dos dados: além da organização, a separação em Data Marts serve para que os setores não possam interagir ou visualizar com os dados de outro setor. Algumas empresas preferem que os setores não acessem os dados entre si e que somente a diretoria tenha acesso e uma visão geral do Data Warehouse.

Erros comuns do Data Warehouse

1° Erro – Falta de comunicação com a área de negócios

Essa é a área mais importante da construção de um Data Warehouse. Isso porque de nada adianta criar o melhor pipeline de dados para um Data Warehouse, limpar e tratar os dados consumindo o menor tempo possível e as atualizações e segurança estarem funcionando perfeitamente bem para o consumo dos dados se, ao final, todo trabalho realizado não era o que a área de negócios queria. 

Ou seja, tratei os dados errados e levei para o Data Warehouse informações não relevantes para a tomada de decisão. Inclusive, deixe claro que você precisa de feedback sobre o que foi feito para corrigir e melhorar o desenvolvimento do Data Warehouse.

2° Erro – Falta de alinhamento com a equipe de produção

Toda a equipe responsável pela construção do Data Warehouse deve estar alinhada sobre o que está sendo feito ou sobre o que não pode ser feito. Isso para evitar gargalos, retrabalho e erros desnecessários.

3° Erro – Falta de documentação

Você e sua equipe chegam ao final do projeto após meses trabalhando e, ao final, percebem que não lembraram de detalhes importantes que podem prejudicar o projeto no futuro. Então, percebem que não documentaram nada do que foi realizado. 

Esse é um erro comum de acontecer quando a equipe está “correndo” para entregar um projeto dentro de um prazo que provavelmente não foi calculado o tempo e a importância de se entregar toda a sua documentação. A documentação serve, literalmente, como um manual para entender todo o processo realizado durante o projeto.

4° Erro – Construir o Data Warehouse pensando somente no operacional

Lembre-se que o Data Warehouse será utilizado pelas 3 áreas de planejamento da empresa (estratégico, tático e operacional). Por isso, não caia no erro de produzir um Data Warehouse para atender somente a demanda de supervisores ou gerentes. Assim, pense na alta diretoria que precisa tomar decisões muito mais estratégicas para o futuro da empresa.

Conclusão

O Data Warehouse é a solução para a estratégia de dados da sua empresa. 

A Luby é uma parceira de desenvolvimento de soluções digitais para evoluir a performance do seu negócio. Para saber mais sobre os nossos serviços, clique neste link e saiba mais sobre como podemos te ajudar.