Capítulo 31 — Governança de dados: implementação II

Mapa da aula

Aula 31 publicada. Mapa, exemplo, EX091.

flowchart TD
  N0["31.1 O catálogo"]
  N1["31.2 Automatizando os metadados"]
  N2["31.3 A classificação na prática"]
  N3["31.4 Governança visível"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX091"]

Desenho lógico

flowchart LR
  N0["31.1 O catálogo"]
  N1["31.2 Automatizando os metadados"]
  N2["31.3 A classificação na prática"]
  N3["31.4 Governança visível"]
  N0 --> N1 --> N2 --> N3 --> Q["EX091"]

[31.1 O catálogo]
    |
    v
[31.2 Automatizando os metadados]
    |
    v
[31.3 A classificação na prática]
    |
    v
[31.4 Governança visível]
    |
    v
[Exemplo resolvido] --> [Exercício EX091]

Objetivos de aprendizagem

Você vai (1) implementar metadados e entradas de catálogo para dados governados; (2) automatizar a titularidade e a classificação; (3) tornar a governança visível para os usuários.

31.1 O catálogo

Kofi implanta um catálogo de dados para a cadeia de perdas. Cada conjunto de dados ganha uma entrada com sua descrição, dono, curador, classificação, regras de qualidade, vínculos de linhagem, agenda de atualização e prazo de retenção. Ele preenche as entradas dos sete nós a montante e do número do conselho e, depois, acrescenta os sistemas de origem. Quem procura o volume fornecido agora encontra uma única entrada oficial, em vez de várias tabelas parecidas com diferenças pouco claras. Ele explica que o catálogo transforma decisões de governança em informação que as pessoas encontram justamente quando estão procurando dados.

31.2 Automatizando os metadados

Entradas de catálogo mantidas à mão ficam desatualizadas. Kofi automatiza o que é possível: detalhes de esquema, horários de atualização e resultados de qualidade são puxados toda noite do data warehouse e da biblioteca de regras. Donos e descrições continuam manuais, mas são verificados quanto à defasagem; entradas sem revisão há um ano são sinalizadas aos curadores. Ele observa que a automação mantém corretos os fatos técnicos, enquanto a revisão humana mantém correto o significado, e que os dois exigem processos de manutenção diferentes, porque mudam por motivos diferentes e em ritmos diferentes. Os curadores tratam as entradas sinalizadas todo mês.

31.3 A classificação na prática

Cada conjunto de dados é classificado como público, interno, confidencial ou restrito. Os volumes de faturamento de clientes são confidenciais; o cadastro de serviços prioritários é restrito. Kofi vincula as classificações às políticas de acesso do data warehouse, de modo que mudar uma classificação muda quem pode ler os dados sem pedidos separados. Quando um analista cria uma tabela derivada que cruza dados confidenciais de faturamento, a classificação é herdada automaticamente. Ele testa a herança com tabelas sintéticas para confirmar que dados derivados nunca recebem classificação inferior à de suas entradas. Os pedidos de acesso caem, porque as permissões acompanham a classificação.

31.4 Governança visível

Kofi acrescenta selos de qualidade às entradas do catálogo, mostrando a taxa de aprovação mais recente em todas as regras e o desempenho em relação ao nível de serviço. Os usuários conseguem ver se um conjunto de dados está confiável no momento, antes de usá-lo. Os engenheiros de rede passam a consultar os selos antes de planejar reparos e a questionar os donos sobre notas ruins. A Profa. Varga observa que a visibilidade cria uma pressão saudável, porque os donos preferem corrigir os problemas a deixar que colegas vejam notas ruins persistentes, e os usuários ganham a informação de que precisam para julgar a adequação. Os selos apontam para a descrição das regras por trás de cada nota.

Exemplo resolvido

Kofi monta as entradas de catálogo da cadeia de perdas, automatiza os metadados técnicos com verificação de entradas defasadas, vincula a classificação ao acesso com herança e acrescenta selos de qualidade que os engenheiros consultam.

Caso sintético. O catálogo é sintético.

Erros e limites

Selos podem enganar quando as regras são fracas; vincule-os à descrição das regras.

Exercícios

• EX091 — Campos automatizados. Quais metadados são puxados automaticamente?
  Mostrar critérios de avaliação

  Rubrica: 3 = detalhes de esquema, horários de atualização e resultados de qualidade;; 2 = a maioria;; 1 = um;; 0 = nenhuma.
• EX092 — Regra de herança. Que classificação recebe uma tabela derivada?
  Mostrar critérios de avaliação

  Rubrica: 3 = nunca inferior à de suas entradas;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
• EX093 — Efeito dos selos. Como os selos mudaram o comportamento dos engenheiros?
  Mostrar critérios de avaliação

  Rubrica: 3 = eles consultam os selos e questionam os donos sobre notas ruins;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.