Capítulo 15 — Evidências e medição
Mapa da aula
Aula 15 publicada. Mapa, exemplo, EX029.
flowchart TD
N0["15.1 O que torna uma medição útil"]
N1["15.2 Indicadores de prontidão"]
N2["15.3 Proveniência"]
N3["15.5 Atividade prática"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX029"]
Desenho lógico
flowchart LR
N0["15.1 O que torna uma medição útil"]
N1["15.2 Indicadores de prontidão"]
N2["15.3 Proveniência"]
N3["15.5 Atividade prática"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX029"]
[15.1 O que torna uma medição útil]
|
v
[15.2 Indicadores de prontidão]
|
v
[15.3 Proveniência]
|
v
[15.5 Atividade prática]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX029]
Objetivos de aprendizagem
Você vai (1) definir validade, confiabilidade e cobertura para as medições de segurança; (2) escolher indicadores de prontidão criptográfica; (3) registrar a proveniência de cada observação; e (4) apresentar as medições com os seus pontos cegos.
15.1 O que torna uma medição útil
Uma medição é válida se mede o que afirma medir, confiável se dá o mesmo resultado quando repetida, e tem cobertura conhecida se sabemos que parcela da população ela observa. A "porcentagem de conexões TLS que usam troca de chaves híbrida" é válida se contada a partir das mensagens ServerHello, confiável se o sensor for estável, e a sua cobertura é a parcela do tráfego que passa pelo sensor. Sem a cobertura, um número de 90% pode descrever apenas o décimo fácil do parque.
A cobertura é a propriedade que mais falta nos painéis de segurança.
15.2 Indicadores de prontidão
Indicadores úteis para uma migração quântica incluem: a parcela de ativos com um inventário criptográfico conhecido; a parcela de fluxos de dados de vida longa protegidos por troca de chaves híbrida; a parcela de certificados emitidos por ACs capazes de emitir certificados pós-quânticos; o número de fornecedores com um roteiro de PQC publicado; e o tempo médio para mudar um algoritmo por configuração. Cada indicador deve ter um responsável, uma fonte e uma frequência de atualização.
A HCU começou com três desses e acrescentou os outros quando os responsáveis foram acordados. Cada um tem uma fonte.
15.3 Proveniência
Registre para cada observação: o que foi observado, por qual método (rede passiva, configuração, varredura de código, declaração do fornecedor), quando e por quem. Os métodos diferem em confiança: um handshake observado é uma evidência mais forte do que a ficha técnica de um fornecedor. No TLS 1.3, um sensor passivo vê o grupo selecionado, mas não o certificado do servidor, que é cifrado, então os algoritmos dos certificados precisam vir de evidências dos endpoints ou da configuração. Misturar métodos sem rótulos faz os painéis parecerem mais certos do que são.
O inventário da HCU tem uma coluna para o método e outra para a data, e os painéis mostram as duas.
15.4 Exemplo resolvido
O primeiro painel da HCU relata "92% das conexões híbridas". Ao inspecioná-lo, descobre-se que o único sensor fica diante do novo gateway web, que já usa o X25519MLKEM768; as VPNs das agências e a rede de caixas eletrônicos são invisíveis para ele. O painel corrigido mostra "tráfego web: 92% híbrido (cobertura do sensor: 100% do gateway web); VPN: 0% (evidência de configuração, 40/40 agências); caixas eletrônicos: desconhecido (sem sensor)". O número de destaque caiu, e a qualidade das decisões subiu.
A correção não mudou nenhum sistema, apenas o que o painel afirmava. Os gestores passaram a ver onde restava trabalho e onde a equipe simplesmente não tinha visibilidade. A linha dos caixas eletrônicos levou a um pedido ao fornecedor dos caixas eletrônicos por evidências de configuração, já que acrescentar um sensor de rede ali não era possível.
15.5 Atividade prática
Projete três indicadores de prontidão para a HCU. Para cada um, dê a definição, a fonte, a cobertura, o responsável e a frequência de atualização, e nomeie uma forma como ele poderia enganar.
Uma boa definição diz exatamente o que é contado e o que não é. A cobertura deve declarar que parte do parque a fonte consegue ver. Um responsável é uma pessoa ou um papel que vai perceber quando o número parecer errado. A forma como um indicador poderia enganar é muitas vezes a sua linha mais útil: por exemplo, uma contagem de fornecedores com roteiros não diz nada sobre se os roteiros são realistas ou têm datas.
15.6 Erros comuns e limites
- Relatar uma porcentagem sem o seu denominador e a sua cobertura.
- Tratar as alegações dos fornecedores como observações.
- Contar conexões quando a decisão diz respeito a ativos ou classes de dados.
Uma porcentagem sem a sua base pode esconder uma amostra minúscula ou enviesada. As declarações dos fornecedores são úteis, mas não testadas; rotule-as como alegações até que alguém observe o comportamento. Contar conexões favorece os sistemas movimentados, enquanto as decisões de migração geralmente dizem respeito a quais ativos ou classes de dados estão protegidos. Um único serviço web movimentado pode fazer o número parecer bom enquanto um enlace de arquivo, pouco movimentado mas sensível, continua clássico. Escolha a unidade que corresponde à decisão.
Exercícios
- EX029 — Cobertura. Reescreva "95% dos nossos certificados estão prontos para PQC" de modo que declare o método, a cobertura e o denominador. Rubrica: 3 = os três presentes e plausíveis.
- EX030 — Projeto de indicador. Proponha um indicador para "capacidade de mudar algoritmos rapidamente" e explique como medi-lo. Rubrica: 3 = definição, método de medição, limitação.
Síntese
Medições válidas e confiáveis, com cobertura e proveniência declaradas, permitem que os tomadores de decisão vejam tanto o progresso quanto os pontos cegos.
Continue estudando — capítulo 15 de 40
← Capítulo 14 · Índice de capítulos do curso · Capítulo 16 →
Siga para a próxima lição escrita.