Integração de dados é juntar, num lugar só e com o mesmo significado, os dados que nascem em sistemas diferentes: o faturamento do ERP, os vendedores do CRM, o frete do sistema de transporte, as metas da planilha. O objetivo não é fazer um sistema conversar com o outro. É ter uma fonte única para responder as perguntas que nenhum sistema responde sozinho, como a margem real de cada cliente.
Este guia explica o que é integração de dados, a diferença para a integração de sistemas, como ela funciona, as técnicas e as ferramentas e plataformas de integração de dados, e como fazer em seis etapas. No exemplo, uma distribuidora descobre que um cliente com 28% de margem no ERP deixa 9% quando o frete e a comissão entram na conta.
O que é integração de dados
Toda empresa média tem os dados de uma decisão espalhados. O ERP sabe o que foi faturado e quanto custou a mercadoria. O CRM sabe quem vendeu e por qual canal. O sistema de transporte sabe quanto custou cada entrega. A planilha do comercial sabe a meta e a comissão. Cada um está certo sobre a sua parte, e nenhum responde à pergunta da diretoria.
A integração de dados resolve isso em três movimentos: extrai os dados de cada fonte, padroniza para que “cliente”, “pedido” e “margem” signifiquem a mesma coisa em todas, e carrega o resultado numa base única, de onde saem os painéis, os relatórios e as análises. O nome técnico dessa base costuma ser data warehouse, mas o nome importa menos do que a regra: um número, uma definição, uma fonte.
Integração de dados e integração de sistemas
As duas são confundidas o tempo todo, e servem a coisas diferentes:
| Integração de sistemas | Integração de dados | |
|---|---|---|
| Para que serve | Fazer a operação andar sem redigitação | Responder perguntas que cruzam sistemas |
| O que circula | Um pedido, um cliente, um título, no momento em que acontece | O histórico de todos os pedidos, clientes e custos |
| Para onde vai | De um sistema operacional para outro | Dos sistemas operacionais para uma base de análise |
| Quem usa | A operação | A diretoria e as áreas que decidem |
| O que dá errado | Pedido que não chega, estoque que não baixa | Dois números diferentes para a mesma pergunta |
Uma empresa costuma precisar das duas. A integração de sistemas faz o pedido do e-commerce cair no ERP. A integração de dados junta esse pedido ao custo do frete e à comissão do vendedor para dizer se ele deu dinheiro. Ligar o ERP aos outros sistemas, pela API, é o assunto de integração com ERP.
Um exemplo: a margem que nenhum sistema mostra
Imagine uma distribuidora de materiais elétricos que fatura R$ 120 milhões por ano, com dois centros de distribuição e cerca de dois mil clientes ativos. A diretoria quer saber quais clientes dão dinheiro. O ERP mostra a margem bruta de cada um: faturamento menos o custo da mercadoria. Um cliente grande, que comprou R$ 100 mil no mês, aparece com 28%.
Com a integração de dados, a mesma pergunta passa a usar quatro fontes:
| Linha | Fonte | Valor no mês |
|---|---|---|
| Faturamento líquido | ERP | R$ 100 mil |
| Custo da mercadoria | ERP | R$ 72 mil |
| Margem bruta | ERP | R$ 28 mil (28%) |
| Frete das entregas desse cliente | Sistema de transporte | R$ 11 mil |
| Comissão do vendedor | CRM e planilha de comissões | R$ 3 mil |
| Custo do prazo de 90 dias | Financeiro | R$ 5 mil |
| Margem depois de servir o cliente | Base integrada | R$ 9 mil (9%) |
O cliente que parecia um dos melhores da carteira deixa menos de um terço do que o ERP sugere. Ele pede muitas entregas pequenas, em cidades longe do centro de distribuição, com prazo longo. Nenhum dos quatro sistemas estava errado. A resposta só existia quando eles eram lidos juntos. É a mesma conta que a curva ABC de clientes pede, com a margem de contribuição no lugar do faturamento.
Como a integração de dados funciona
O caminho do dado tem três etapas, e a ordem entre as duas últimas dá nome às duas abordagens mais comuns:
- ETL (extrair, transformar, carregar). O dado é tratado antes de entrar na base de análise. É o modelo clássico, bom quando as regras são estáveis e o volume é moderado.
- ELT (extrair, carregar, transformar). O dado bruto entra primeiro na base, e as regras são aplicadas lá dentro. É o modelo das plataformas de nuvem, mais flexível para mudar uma regra sem buscar tudo de novo.
Para extrair, há quatro técnicas, escolhidas fonte a fonte:
- Conector pronto. Para ERPs e CRMs conhecidos, as ferramentas de mercado já sabem onde está cada tabela.
- API. O sistema de origem entrega os dados por uma interface documentada. É o caminho para sistemas em nuvem.
- Leitura do banco. Uma cópia somente leitura do banco do ERP, às vezes com captura apenas do que mudou, para não pesar no sistema que roda a operação.
- Arquivo. Exportações agendadas, quando o sistema não oferece nada melhor. Funciona, desde que o arquivo tenha formato fixo e alguém seja avisado quando ele não chegar.
A frequência depende da decisão. Margem por cliente e por produto aguenta atualização diária. Ruptura de estoque e atraso de entrega pedem algo mais próximo do tempo real. Atualizar tudo a cada minuto custa caro e quase nunca muda a decisão.
Entre a base e os painéis há uma camada que costuma faltar: as definições. O que é um cliente ativo, qual data vale para o faturamento, como o frete é distribuído entre os pedidos de uma mesma entrega. Sem essas regras escritas, dois painéis lidos da mesma base mostram números diferentes. É o papel do dicionário de indicadores, descrito em governança de dados.
Ferramentas e plataformas de integração de dados
As ferramentas de integração de dados se dividem em cinco famílias. A escolha depende menos da marca e mais de quantas fontes a empresa tem, de quem vai manter e de onde a base vai morar.
| Família | Exemplos | Quando faz sentido |
|---|---|---|
| Conectores gerenciados (ELT) | Fivetran, Airbyte | Muitas fontes conhecidas e pouca gente para manter conector |
| Plataformas de nuvem | Azure Data Factory, AWS Glue | A empresa já tem a base de análise naquela nuvem |
| ETL tradicional | Pentaho Data Integration, Talend | Regras estáveis, ambiente próprio e equipe que já conhece |
| Transformação dentro da base | dbt | As regras de negócio precisam ser versionadas e testadas como código |
| Código próprio | Rotinas em Python ou SQL | Fontes fora do padrão, como um ERP muito customizado ou uma planilha crítica |
Na prática, uma empresa média combina duas famílias: conectores para as fontes conhecidas e código próprio para o que é só dela. A plataforma de integração de dados é o conjunto dessas peças com monitoramento, agenda e alertas, e não um produto único. O ponto que mais pesa no custo é a manutenção: um ERP que muda de versão, uma planilha que ganha coluna, um campo que passa a ser preenchido de outro jeito.
Como fazer a integração de dados em 6 etapas
- Comece por três perguntas. Margem por cliente, ruptura por produto, prazo de entrega por região: perguntas que a diretoria faz e que hoje custam dias de planilha. Elas decidem quais fontes entram primeiro.
- Faça o inventário das fontes. Para cada pergunta, de onde vem cada número, quem é o dono do sistema e como o dado pode sair dele.
- Escreva as definições. Cliente, pedido, faturamento, custo, margem. Uma definição por termo, aprovada por quem usa o número.
- Resolva as chaves. O mesmo cliente tem um código no ERP, outro no CRM e um nome digitado no sistema de transporte. A tabela de correspondência entre esses códigos é trabalho chato e é o que faz a integração funcionar.
- Construa e confira. Carregue, aplique as regras e compare os totais com o ERP antes de mostrar qualquer painel. Se o faturamento do mês não bate, nada mais vai ser aceito. As checagens estão em qualidade de dados.
- Publique e monitore. O painel sai com a data da última atualização visível e um alerta quando uma fonte falha. Depois das três primeiras perguntas, as próximas aproveitam o que já foi integrado e custam muito menos.
Para o desenho completo da base de análise, quando ela deixa de ser uma cópia organizada e passa a ser um data warehouse, e para o caminho do dado até a decisão, o guia de business intelligence para empresas. Quem vai contratar a construção deve começar pelo escopo de projeto: quais perguntas entram na primeira entrega e quais ficam para depois.
Os erros que tornam a base única pouco confiável
- Integrar tudo antes de ter uma pergunta. O projeto passa meses copiando tabelas e não entrega nenhuma resposta. A diretoria perde o interesse antes do primeiro painel.
- Ignorar a chave do cliente. Sem a correspondência entre códigos, o mesmo cliente aparece três vezes, e a margem dele fica dividida em pedaços que ninguém soma.
- Copiar a regra errada do ERP. O relatório antigo tinha um filtro que ninguém lembra, e a base nova mostra outro número. Sem a definição escrita, a discussão vira qual dos dois está certo.
- Atualização sem aviso. A carga falhou na terça e o painel mostrou o número de segunda até sexta. Sem a data visível, a decisão foi tomada com dado velho.
- Base sem dono. Quem responde quando o número não bate? Sem um dono por indicador, a integração vira um projeto de TI que a área de negócio não usa.
Por onde seguir
Para o painel que a diretoria vai ler, o dashboard gerencial. Para escolher o que medir, os indicadores de desempenho e os indicadores de desempenho logístico. Para as regras que mantêm o número confiável, a governança de dados e a qualidade de dados.
Perguntas frequentes
O que é integração de dados?
Integração de dados é juntar, num lugar só e com o mesmo significado, os dados que nascem em sistemas diferentes, como ERP, CRM, sistema de transporte e planilhas. O processo extrai os dados de cada fonte, padroniza as definições e carrega o resultado numa base única. Dela saem os painéis e as análises. O objetivo é responder perguntas que nenhum sistema responde sozinho, como a margem real de cada cliente.
Qual a diferença entre integração de dados e integração de sistemas?
A integração de sistemas faz a operação andar: o pedido do e-commerce cai no ERP no momento em que acontece. A integração de dados serve à decisão: junta o histórico de vários sistemas numa base de análise. Uma move um registro de cada vez entre sistemas operacionais; a outra consolida tudo para ser lido junto. A maioria das empresas médias precisa das duas.
Para que serve a integração de dados?
Serve para responder perguntas que cruzam sistemas. No exemplo do guia, uma distribuidora vê no ERP um cliente com 28% de margem bruta. Somando o frete das entregas, a comissão do vendedor e o custo do prazo, que estão em outros sistemas, a margem cai para 9%. Sem a integração, essa conta é feita à mão, uma vez por ano, quando é feita.
O que é ETL e ELT?
São as duas ordens de trabalho da integração de dados. No ETL, o dado é extraído, transformado e só então carregado na base de análise. No ELT, o dado bruto é carregado primeiro e transformado dentro da base. O ETL é o modelo clássico, bom para regras estáveis. O ELT é o modelo das plataformas de nuvem, mais flexível para mudar uma regra sem buscar tudo de novo.
Quais são as ferramentas de integração de dados?
Há cinco famílias: conectores gerenciados como Fivetran e Airbyte, plataformas de nuvem como Azure Data Factory e AWS Glue, ETL tradicional como Pentaho e Talend, transformação dentro da base como o dbt, e código próprio em Python ou SQL. Uma empresa média costuma combinar conectores para as fontes conhecidas e código próprio para o que é só dela. A escolha depende de quantas fontes há e de quem vai manter.
O que é uma plataforma de integração de dados?
É o conjunto de peças que leva os dados das fontes até a base de análise, com agenda, monitoramento e alertas. Raramente é um produto único: costuma juntar conectores, uma base na nuvem, as regras de transformação e um painel de acompanhamento das cargas. O que define uma boa plataforma é avisar quando uma fonte falha, antes de alguém decidir com o número velho.
Como fazer a integração de dados?
Comece por três perguntas da diretoria que hoje custam dias de planilha. Faça o inventário das fontes de cada número, escreva as definições de cliente, pedido, faturamento e margem, e resolva as chaves, porque o mesmo cliente tem códigos diferentes em cada sistema. Depois construa, confira os totais com o ERP antes de mostrar qualquer painel, e publique com a data da última atualização visível.
Com que frequência atualizar os dados integrados?
Depende da decisão que o dado alimenta. Margem por cliente e por produto aguenta atualização diária. Ruptura de estoque e atraso de entrega pedem algo próximo do tempo real. Atualizar tudo a cada minuto custa caro e quase nunca muda a decisão. Em qualquer frequência, o painel precisa mostrar quando foi atualizado pela última vez.
Por que os números não batem depois da integração?
Quase sempre por definição, e não por erro técnico. O relatório antigo do ERP tinha um filtro que ninguém lembrava, a data de faturamento é diferente da data do pedido, ou o mesmo cliente aparece com três códigos. Por isso a integração começa escrevendo as definições e conferindo os totais com a fonte. Sem isso, a discussão vira qual dos números está certo.
Integração de dados precisa de um data warehouse?
Nem sempre no começo. Para poucas perguntas e poucas fontes, uma base de análise organizada resolve. O data warehouse faz sentido quando o volume, o número de fontes e o histórico crescem, e quando várias áreas passam a usar a mesma base. O que não pode faltar desde o início são as definições escritas e a conferência com a fonte.
