Capítulo 36 — Governança de dados: desempenho e escala
Mapa da aula
Aula 36 publicada. Mapa, exemplo, EX106.
flowchart TD
N0["36.1 Crescimento"]
N1["36.2 Tornando os controles eficientes"]
N2["36.3 Custo dos controles"]
N3["36.4 O valor dos controles"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX106"]
Desenho lógico
flowchart LR
N0["36.1 Crescimento"]
N1["36.2 Tornando os controles eficientes"]
N2["36.3 Custo dos controles"]
N3["36.4 O valor dos controles"]
N0 --> N1 --> N2 --> N3 --> Q["EX106"]
[36.1 Crescimento]
|
v
[36.2 Tornando os controles eficientes]
|
v
[36.3 Custo dos controles]
|
v
[36.4 O valor dos controles]
|
v
[Exemplo resolvido] --> [Exercício EX106]
Objetivos de aprendizagem
Você vai (1) manter os controles de governança eficientes à medida que os dados crescem; (2) medir o custo dos controles; (3) priorizar os controles pelo valor.
36.1 Crescimento
As leituras dos medidores inteligentes passam de diárias a horárias à medida que a Tidewater atualiza os medidores, o que multiplica o volume por vinte e quatro. Os registradores acústicos acrescentam ainda mais. Kofi estima que a biblioteca de regras levaria muito mais tempo por noite no novo volume se fosse executada sem mudanças. Ele explica que os controles de governança são cargas de trabalho com custos, e que projetos que funcionam na escala de hoje podem falhar quando os volumes aumentam, provocando verificações atrasadas ou controles pulados que minam toda a abordagem de governança. Kofi apresenta a estimativa antes de a troca de medidores começar, para que as mudanças fiquem prontas a tempo.
36.2 Tornando os controles eficientes
Kofi altera as regras para processar apenas registros novos e alterados, em vez de históricos completos, particiona os dados por distrito para que as verificações rodem em paralelo e leva as verificações simples de faixa para a etapa de ingestão, onde os dados já estão sendo lidos. Ele mede o tempo de execução em um conjunto de dados sintético no novo volume e confirma que as verificações noturnas agora terminam bem antes do prazo da manhã. Ele documenta as escolhas de projeto para que futuros engenheiros entendam por que as verificações estão estruturadas assim. As verificações de faixa na ingestão também rejeitam leituras ruins mais cedo.
36.3 Custo dos controles
Kofi registra o custo computacional e o tempo de pessoal de cada controle. Uma comparação detalhada de distribuições em todas as colunas custa muito mais do que suas constatações justificam para tabelas de baixo risco. Ele propõe uma frequência baseada em risco: dados de alto risco verificados continuamente, de risco médio diariamente e de baixo risco semanalmente. O comitê de governança aprova a abordagem. Ele observa que a governança disputa recursos com outros trabalhos, de modo que mostrar o valor em relação ao custo ajuda a manter o apoio dos gestores que precisam financiá-la. O nível de risco de cada conjunto de dados fica registrado no catálogo, para que a agenda decorra automaticamente da classificação.
36.4 O valor dos controles
Para priorizar, Kofi lista, para cada controle, os problemas que ele detectou em seis meses e o impacto deles. Alguns controles não encontraram nada, o que pode significar que o risco não existe ou que o controle é fraco. Ele testa os controles silenciosos por injeção antes de aposentar qualquer um, e aposenta dois que duplicam verificações mais fortes. A Profa. Varga enfatiza que controles que nunca disparam devem ser testados, e não presumidos inúteis, já que o silêncio pode refletir sucesso ou falha. Os demais controles silenciosos permanecem, porque a injeção mostrou que cada um ainda detecta os erros para os quais foi projetado.
Exemplo resolvido
Kofi prepara os controles para os dados horários dos medidores com verificações incrementais, particionadas e antecipadas, registra o custo dos controles, aplica frequência baseada em risco e testa os controles silenciosos antes de aposentar os duplicados.
Caso sintético. Os volumes são sintéticos.
Erros e limites
Aposentar controles silenciosos sem testá-los pode remover uma proteção necessária.
Exercícios
- EX106 — Crescimento do volume. Por quanto a leitura horária multiplica o volume? Rubrica: 3 = vinte e quatro vezes;; 2 = parcialmente correto;; 1 = errado;; 0 = nenhuma.
- EX107 — Mudança de eficiência. Cite uma mudança de eficiência. Rubrica: 3 = processamento incremental, partições por distrito ou verificações na ingestão;; 2 = uma;; 1 = vago;; 0 = nenhuma.
- EX108 — Controles silenciosos. O que Kofi fez antes de aposentar controles silenciosos? Rubrica: 3 = testou-os por injeção;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
Continue estudando — aula 36 (capítulo 36 de 50)
← Capítulo 35 · Índice das aulas · Capítulo 37 →
Continue para a próxima aula já escrita.