Capítulo 19 — Regras de qualidade de dados

Mapa da aula

Aula 19 publicada. Mapa, exemplo, EX055.

flowchart TD
  N0["19.1 Regras a partir dos padrões"]
  N1["19.2 Automatizando as verificações"]
  N2["19.3 Limiares e escalonamento"]
  N3["19.4 Mantendo as regras"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX055"]

Desenho lógico

flowchart LR
  N0["19.1 Regras a partir dos padrões"]
  N1["19.2 Automatizando as verificações"]
  N2["19.3 Limiares e escalonamento"]
  N3["19.4 Mantendo as regras"]
  N0 --> N1 --> N2 --> N3 --> Q["EX055"]

[19.1 Regras a partir dos padrões]
    |
    v
[19.2 Automatizando as verificações]
    |
    v
[19.3 Limiares e escalonamento]
    |
    v
[19.4 Mantendo as regras]
    |
    v
[Exemplo resolvido] --> [Exercício EX055]

Objetivos de aprendizagem

Você vai (1) escrever regras de qualidade a partir dos padrões; (2) automatizar as verificações; (3) definir limiares e escalonamento.

19.1 Regras a partir dos padrões

Amara transforma o padrão dos dados de fidelidade em regras. Cada regra tem um identificador, uma descrição, o campo que verifica, a condição, o dono e o limiar. Por exemplo, a regra LQ-03 verifica se os endereços de e-mail contêm uma arroba e um domínio, tem como dona a curadora dos dados de fidelidade e uma meta de 99 por cento de validade entre os registros com e-mail. Escrever as regras assim as torna testáveis, repetíveis e rastreáveis até o padrão aprovado pelo grupo de governança. O catálogo de regras fica guardado junto com o padrão.

19.2 Automatizando as verificações

Ela implementa as regras em um script Python que roda toda noite depois da carga dos dados de fidelidade. Os resultados vão para uma pequena tabela com data, regra, registros verificados e registros com falha. Um gráfico simples mostra as tendências. Amara explica que as verificações automatizadas capturam os problemas logo depois que aparecem, enquanto as manuais acontecem raramente demais e dependem de alguém se lembrar. O script registra as próprias execuções, de modo que uma noite sem execução é percebida, e não pulada em silêncio. A curadora recebe toda manhã um resumo curto dos resultados por e-mail.

19.3 Limiares e escalonamento

Cada regra tem um limiar. Se os resultados ficam abaixo dele, a curadora recebe um alerta. Se continuam abaixo por uma semana, o dono é informado. Se continuam abaixo por um mês, o grupo de governança revisa o problema. Amara observa que o escalonamento transforma medições em ação, e que passos claros evitam tanto ignorar os problemas quanto reagir em excesso a noites ruins isoladas, causadas por falhas temporárias de sistema que estão fora do controle de qualquer pessoa. Amara documenta os passos de escalonamento no padrão, para que todos os curadores sigam o mesmo processo.

19.4 Mantendo as regras

As regras precisam de manutenção. Quando a Harbourline abre uma loja em uma nova região com outro formato de código postal, a regra do CEP passa a rejeitar indevidamente códigos válidos. Amara atualiza a regra depois que a curadora relata os alertas falsos, registra a mudança e processa de novo os resultados anteriores. Ela aprende que as regras precisam mudar quando o negócio muda, e que toda mudança de regra deve ser revisada e documentada como qualquer outra mudança em um sistema importante. O registro de mudanças mostra quem aprovou a atualização, quando ela foi aplicada e por que era necessária.

Exemplo resolvido

Amara escreve regras com identificadores, donos e limiares, automatiza as verificações noturnas com execuções registradas, define um escalonamento em três passos e atualiza a regra do CEP para uma nova região.

Caso sintético. As regras são sintéticas.

Erros e limites

Regras que nunca mudam acabam rejeitando dados válidos.

Exercícios

• EX055 — Regra LQ-03. O que a regra LQ-03 verifica?
  Mostrar critérios de avaliação

  Rubrica: 3 = que os e-mails contêm uma arroba e um domínio;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
• EX056 — Violação de um mês. Quem revisa os problemas que ficam abaixo do limiar por um mês?
  Mostrar critérios de avaliação

  Rubrica: 3 = o grupo de governança;; 2 = parcialmente correto;; 1 = outro;; 0 = nenhuma.
• EX057 — Mudança do CEP. Por que a regra do CEP mudou?
  Mostrar critérios de avaliação

  Rubrica: 3 = uma nova região usava outro formato;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.