Capítulo 15 — Evidência e medição

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX029.

flowchart TD
  N0["15.1 O que conta como evidência"]
  N1["15.2 Medição e métricas"]
  N2["15.3 Incerteza e sensibilidade"]
  N3["15.5 Atividade prática"]
  N4["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX029"]

Desenho lógico

flowchart LR
  N0["15.1 O que conta como evidência"]
  N1["15.2 Medição e métricas"]
  N2["15.3 Incerteza e sensibilidade"]
  N3["15.5 Atividade prática"]
  N4["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX029"]

[15.1 O que conta como evidência]
    |
    v
[15.2 Medição e métricas]
    |
    v
[15.3 Incerteza e sensibilidade]
    |
    v
[15.5 Atividade prática]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX029]

Objetivos de aprendizagem e conexão

Depois deste capítulo, você consegue (1) distinguir uma medição, um indicador e uma afirmação; (2) julgar a evidência pela sua fonte, método, atualidade e independência; (3) projetar uma métrica de segurança válida, confiável e difícil de manipular; e (4) usar a análise de sensibilidade para decidir se uma evidência incerta é boa o bastante para uma decisão. O capítulo se apoia nos Capítulos 1, 4 e 12 e prepara o Capítulo 18 (métodos de pesquisa), o Capítulo 27 (verificação) e o Capítulo 37 (revisão de evidências).

15.1 O que conta como evidência

Uma afirmação é uma declaração de que algo é verdade ("os nossos backups conseguem restaurar o sistema de despacho em quatro horas"). A evidência é o que a sustenta ou a enfraquece. A evidência varia em força. Uma demonstração (um exercício de restauração cronometrado na configuração de produção, no mês passado) é mais forte que um documento (uma política de backup), que é mais forte que uma asserção ("o fornecedor diz que funciona"). Faça quatro perguntas a qualquer evidência: Fonte — quem a produziu, e essa pessoa tem interesse na resposta? Método — como ela foi produzida, e alguém conseguiria repeti-la? Atualidade — ela ainda descreve o sistema como ele é agora? Independência — ela foi conferida por alguém que não seja quem fez a afirmação?

15.2 Medição e métricas

Uma medição é um valor obtido por um procedimento definido (o tempo de restauração em minutos, medido do início até a primeira transação de despacho bem-sucedida). Um indicador ou métrica é uma medição usada para acompanhar algo que nos importa. As boas métricas são válidas (medem o que importa — a porcentagem de ativos críticos com uma restauração testada, e não o número de rotinas de backup), confiáveis (duas pessoas medindo obtêm o mesmo resultado), tempestivas e difíceis de manipular. Vale o alerta de Goodhart: quando uma medida vira meta, as pessoas otimizam a medida. Uma métrica de patches de "porcentagem de sistemas com patch em até 30 dias" incentiva excluir os sistemas difíceis do denominador; reporte o denominador e as exclusões.

15.3 Incerteza e sensibilidade

A maior parte da evidência de segurança é incerta: amostras pequenas (Capítulo 12), estimativas (Capítulo 1), indicadores indiretos. A análise de sensibilidade pergunta quanto a decisão muda quando uma entrada incerta muda. Se uma recomendação se mantém em toda a faixa plausível, a evidência é adequada para essa decisão, mesmo que imprecisa. Se ela se inverte, colete evidências melhores sobre essa entrada ou torne a decisão robusta (escolha a opção aceitável em toda a faixa). Este é um antídoto prático tanto para a falsa precisão quanto para a paralisia.

O Laboratório 1 é o modelo: B continua à frente quando qualquer probabilidade isolada é reduzida à metade ou dobrada.

15.4 Exemplo resolvido: o despacho do CEDC é restaurável? (sintético)

Este caso é sintético. O conselho do CEDC pergunta: "Conseguimos restaurar o despacho assistido por computador em quatro horas depois de um ransomware?" Evidências disponíveis:

Tabela da aula; deslize para ver todas as colunas →

Avaliação: nenhuma evidência demonstra a afirmação — uma restauração do serviço de despacho inteiro, incluindo os servidores de aplicação, as integrações e as credenciais, em condições de ransomware (em que o próprio servidor de backup pode estar cifrado). A resposta honesta ao conselho é "desconhecido, com evidência parcial de que só o banco de dados é restaurado em quatro horas". Recomendação: um exercício de restauração de ponta a ponta num ambiente isolado, observado pela auditoria interna, medindo o tempo até o primeiro despacho de teste bem-sucedido; e a confirmação de que pelo menos uma cópia de backup está offline ou é imutável.

15.5 Atividade prática

Pegue uma afirmação sobre um serviço que você usa ("o meu celular faz backup das minhas fotos"). Liste as evidências que você tem, classifique cada item por tipo, fonte, atualidade e independência e projete um teste que demonstraria a afirmação. Não rode nada em sistemas que não são seus.

Para um backup de celular, o teste mais forte é restaurar uma foto em outro dispositivo seu, cronometrando e registrando a data. O "último backup: hoje" de um aplicativo de backup é uma medição do backup, e não da restauração.

15.6 Erros comuns e limites

• Tratar o sucesso do backup como evidência de restauração.
• Métricas que contam atividade em vez de resultados.
• Denominadores que excluem em silêncio os casos mais difíceis.
• Ignorar o interesse da fonte da evidência.
• Exigir uma precisão de que a decisão não precisa, ou aceitar uma confiança que não foi conquistada.

A tabela de evidências do CEDC mostra o primeiro: 362 de 365 rotinas bem-sucedidas não dizem nada sobre restaurar a aplicação. O segundo aparece quando uma equipe reporta o número de rotinas de backup em vez das restaurações testadas. O terceiro é a métrica de patches que deixa de fora os sistemas difíceis. O quarto é o "menos de 3 horas" sem data do fornecedor. O quinto corta para os dois lados: o conselho não precisa de minutos, mas não pode aceitar "provavelmente está tudo bem".

Exercícios — capítulo 15

EX029 — Classifique a evidência. Objetivo: aplicar as quatro perguntas. Entradas: a afirmação "o serviço de cartões da Calder Mutual faz failover para o seu segundo data center em 15 minutos"; evidências: diagrama de arquitetura (2025), relatório do teste de failover do ano passado feito pela equipe de operações (14 min), nota do auditor de que o teste foi anunciado com uma semana de antecedência. Etapas: classifique cada item e declare o que a evidência mostra e o que não mostra. Evidência esperada: tabela e duas frases. Rubrica: 3 = reconhece o teste como uma demonstração real, mas anunciada e não independente, e pede um teste não anunciado ou observado de forma independente sob carga realista; 2 = parcial; 1 = aceita a afirmação; 0 = nada.

EX030 — Corrija uma métrica. Objetivo: projetar uma métrica válida e difícil de manipular. Entradas: "número de cursos de conscientização sobre phishing concluídos". Etapas: proponha uma métrica melhor para o risco de phishing de credenciais, defina a sua medição e nomeie uma forma de manipulá-la. Evidência esperada: definição e risco de manipulação. Rubrica: 3 = métrica orientada a resultados (por exemplo, a fração de contas privilegiadas com autenticação resistente a phishing, ou a taxa de reporte em simulações autorizadas) com procedimento definido e um risco de manipulação honesto; 2 = melhor, mas definida de forma frouxa; 1 = métrica de atividade; 0 = nada.

Síntese do capítulo

A evidência tem uma fonte, um método, uma data e um grau de independência. Meça resultados em vez de atividade, reporte os denominadores e use a análise de sensibilidade para decidir se uma evidência incerta é boa o bastante. "Desconhecido, com evidência parcial" é muitas vezes a resposta mais honesta e mais útil.