Arquitetura moderna que combina data lake e data warehouse para analytics, BI e IA em uma única plataforma.
Como funciona na prática
Os dados chegam de sistemas de origem, como ERP, CRM, aplicativos e sensores, e são gravados em armazenamento de objetos em formatos abertos de tabela. É comum organizá-los em camadas: uma com o dado bruto, como chegou; outra com o dado limpo e padronizado; e uma terceira com tabelas prontas para indicadores e relatórios. Motores de consulta SQL, ferramentas de BI e ambientes de ciência de dados leem as mesmas tabelas, sem cópias separadas. Um catálogo registra o que existe, quem é responsável e quem pode acessar. Rotinas agendadas ou fluxos contínuos mantêm as camadas atualizadas e com qualidade verificada.
Quando faz sentido
Faz sentido quando a empresa mantém um data warehouse para relatórios e, em paralelo, um repositório de arquivos para ciência de dados, com dados duplicados, números diferentes e custo dobrado. Também é indicado quando o volume ou a variedade de dados cresce, incluindo arquivos, eventos e dados semiestruturados, e quando há planos de usar machine learning e IA sobre os mesmos dados dos indicadores. Para empresas com poucas fontes e necessidades simples de relatório, um banco de dados analítico bem modelado ou um warehouse gerenciado pode resolver com menos complexidade. A escolha deve partir dos casos de uso, não da tecnologia.
O que avaliar
Avalie se a equipe tem competência em engenharia de dados para operar a plataforma, porque ela exige disciplina em modelagem, qualidade e governança. Verifique o formato de tabela adotado e a compatibilidade com as ferramentas que você usa ou pretende usar, para evitar dependência de um único fornecedor. Entenda o modelo de custo de armazenamento e processamento, e configure limites e alertas. Defina dono para cada conjunto de dados e regras de acesso, especialmente para dados pessoais. Comece por um caso de uso de valor claro, como um indicador hoje calculado manualmente, e só depois amplie para outras áreas.