Capítulo 37 — Governança de dados: operação
Mapa da aula
Aula 37 publicada. Mapa, exemplo, EX109.
flowchart TD
N0["37.1 Operação diária"]
N1["37.2 Incidentes de dados"]
N2["37.3 Runbooks"]
N3["37.4 Plantão"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX109"]
Desenho lógico
flowchart LR
N0["37.1 Operação diária"]
N1["37.2 Incidentes de dados"]
N2["37.3 Runbooks"]
N3["37.4 Plantão"]
N0 --> N1 --> N2 --> N3 --> Q["EX109"]
[37.1 Operação diária]
|
v
[37.2 Incidentes de dados]
|
v
[37.3 Runbooks]
|
v
[37.4 Plantão]
|
v
[Exemplo resolvido] --> [Exercício EX109]
Objetivos de aprendizagem
Você vai (1) conduzir a governança como operação diária; (2) tratar incidentes de dados; (3) manter runbooks e plantão.
37.1 Operação diária
A governança precisa de rotinas. Kofi define um ciclo diário: os controles noturnos rodam, os alertas chegam aos donos até as sete da manhã, os curadores fazem a triagem dos alertas até as nove e a visão matinal das perdas é publicada com os selos de qualidade. Toda semana, os donos revisam as tendências e o envelhecimento das quebras. Todo mês, o comitê de governança revisa os relatórios de serviço e as decisões. Ele documenta o ciclo em um calendário de operação, para que todos saibam quando esperar informações e quando precisam agir sobre elas. O calendário é compartilhado com todos os donos e curadores, e lembretes são enviados automaticamente antes de cada reunião de revisão.
37.2 Incidentes de dados
Um incidente de dados é um evento em que a qualidade ou a disponibilidade dos dados cai a ponto de afetar decisões. Kofi define níveis de severidade, desde a falta de dados de um único distrito até um número de perdas errado enviado ao regulador. Cada nível tem tempos de resposta, regras de comunicação e um líder. Quando uma extração do faturamento falha em um dia de envio de relatório, o líder do incidente avisa o contato do regulador de que os números chegarão com um dia de atraso, em vez de enviar números estimados em silêncio. O contato do regulador agradece à Tidewater pelo aviso antecipado.
37.3 Runbooks
Para os alertas mais comuns, Kofi escreve runbooks: guias passo a passo que explicam como confirmar o problema, as causas prováveis, as correções e quem deve ser informado. O runbook de um sensor de vazão travado explica como comparar com os sensores vizinhos, pedir uma visita ao local e marcar os dados afetados. Ele testa os runbooks pedindo a um curador que não os escreveu que siga cada um diante de um incidente sintético, e revisa os passos que causam confusão durante o teste. Os runbooks ficam guardados junto aos alertas que cobrem, de modo que o link aparece em cada mensagem de alerta.
37.4 Plantão
Alertas de dados podem ocorrer de madrugada. Kofi propõe uma escala de plantão entre os engenheiros de dados para os dados críticos, como os fluxos de sensores relevantes para a segurança, com escalonamento claro para os engenheiros de operação. Alertas não críticos esperam até a manhã. Ele revisa o volume de alertas para garantir que o pessoal de plantão não seja acordado por questões que poderiam esperar. A Profa. Varga observa que uma operação sustentável exige atenção à carga de trabalho das pessoas, porque engenheiros de plantão exaustos cometem erros e vão embora. Os limiares que acordam pessoas sem necessidade são ajustados depois de cada revisão mensal dos alertas noturnos e de seus desfechos.
Exemplo resolvido
Kofi define rotinas de governança diárias, semanais e mensais, estabelece a severidade dos incidentes de dados com comunicação ao regulador, testa os runbooks com um curador e desenha uma escala de plantão sustentável.
Caso sintético. A operação é sintética.
Erros e limites
Enviar estimativas em silêncio destrói a confiança; comunique os atrasos.
Exercícios
- EX109 — Horário da triagem. Até quando os curadores fazem a triagem dos alertas? Rubrica: 3 = até as nove da manhã;; 2 = parcialmente correto;; 1 = errado;; 0 = nenhuma.
- EX110 — Falha no dia do relatório. O que o líder do incidente fez quando uma extração falhou no dia do relatório? Rubrica: 3 = avisou o regulador de que os números atrasariam um dia;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
- EX111 — Teste dos runbooks. Como os runbooks são testados? Rubrica: 3 = um curador que não os escreveu os segue diante de um incidente sintético;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
Continue estudando — aula 37 (capítulo 37 de 50)
← Capítulo 36 · Índice das aulas · Capítulo 38 →
Continue para a próxima aula já escrita.