Qualidade em Dimensões: Checklist Real

Qualidade de Dados em Dimensões: Completude, Consistência, Conformidade, Acurácia

Você descobrir que 40% dos CPFs no seu banco estão duplicados ou inválidos? Quando 50 mil processamentos já foram feitos com esses dados?

Isso é débito técnico. E vai custar caro pra limpar.

As 4 Dimensões (Revisited)

Completude: Qual % dos campos está preenchido. Se 30% dos emails vazios, campanhas de email não vão funcionar.

Consistência: Dados redundantes tem valores iguais? Mesmo cliente tem CPF diferente em tabelas diferentes?

Conformidade: Email tem padrão válido? CPF tem 11 dígitos? Data é válida (não tá 2099).

Acurácia: Dados são FACTUALMENTE corretos. Email existe? CPF é real? Pessoa nasceu em data plausível?

Ferramenta de Teste

class QualidadeChecker:
      def audit_completude(self, df, threshold=0.9):
      para cada coluna:
      preenchido = df[col].notna().sum() / len(df)
      if preenchido < threshold:
      alert(f"{col} apenas {preenchido*100}%")
      def audit_conformidade(self, df):
      emails_invalidos = df[df['email'].str.match(r'^\S+@\S+\.\S+$') == False]
      if len(emails_invalidos) > 0:
      alert(f"{len(emails_invalidos)} emails inválidos")

Recomendação

Rode qualidade check DIARIAMENTE. Alertas pra qualquer degradação. Problema pequeno de 1% fica 40% rápido sem monitorar.