nobug
    Glossário/Data Quality (Qualidade de Dados)
    Dados

    Data Quality (Qualidade de Dados)

    Práticas e ferramentas para medir, monitorar e melhorar a acurácia e completude dos dados.

    Data Quality (Qualidade de Dados) é o conjunto de práticas, processos e ferramentas para medir, monitorar e melhorar a qualidade dos dados em uma organização. As dimensões de qualidade incluem: acurácia (dados corretos), completude (sem campos vazios), consistência (sem contradições entre sistemas), atualidade (dados recentes), unicidade (sem duplicatas) e validade (conformidade com regras de negócio). O processo envolve: profiling (análise exploratória dos dados), definição de regras de qualidade, validação automatizada nos pipelines de ETL/ELT, dashboards de monitoramento, alertas de anomalias e workflows de remediação. Ferramentas: Great Expectations, dbt tests, Soda, Monte Carlo e Ataccama. Dados de baixa qualidade causam: decisões erradas, retrabalho operacional, falhas em IA/ML, não-compliance regulatório e perda de confiança nos sistemas analíticos. Dados ruins geram retrabalho, decisões erradas e perda de receita.

    Como funciona na prática

    O trabalho começa com o perfil dos dados: quantos campos estão vazios, quantos valores fogem do padrão, quantos registros aparecem duplicados. Com isso, as áreas definem regras concretas, como CPF válido, data de entrega posterior à data do pedido ou total da nota igual à soma dos itens. Essas regras viram testes automáticos que rodam a cada carga de dados, bloqueando ou sinalizando registros com problema. Um painel mostra a evolução dos indicadores por fonte. Quando uma regra falha, um responsável recebe alerta e corrige, de preferência na origem. Corrigir apenas no relatório final mascara o problema, que volta a aparecer na próxima carga.

    Quando faz sentido

    O tema ganha prioridade quando relatórios de áreas diferentes mostram números diferentes para a mesma pergunta, quando a equipe gasta horas ajustando planilhas antes de reuniões, quando campanhas são enviadas para clientes duplicados ou endereços errados e quando modelos de IA dão resultados ruins sem motivo aparente. Integrações entre sistemas, migrações e projetos de BI costumam revelar os problemas de forma abrupta. Faz sentido começar pelos dados que sustentam decisões ou obrigações importantes, como cadastro de clientes, faturamento e estoque, em vez de tentar medir a qualidade de tudo ao mesmo tempo, o que dispersa esforço.

    O que avaliar

    Defina donos para cada conjunto de dados. Sem alguém responsável, os alertas de qualidade não viram correção. Escolha poucas regras de alto impacto e amplie aos poucos. Avalie onde os testes devem rodar: na entrada do sistema, no pipeline de dados ou nos dois. Prefira corrigir processos e validações na origem, como campos obrigatórios e listas fechadas, em vez de limpar depois. Ao escolher ferramentas, verifique integração com seu ambiente de dados e facilidade para escrever regras. Meça a evolução com indicadores simples e visíveis para as áreas. E lembre que dados pessoais exigem cuidado também nas cópias usadas para testes.

    Este termo faz parte da área de Dados. Veja como a NOBUG trabalha com dados e analytics.