Capítulo 9 — Evidências e medição

Mapa da aula

Aula 09 publicada. Mapa, exemplo, EX017.

flowchart TD
  N0["9.1 Fontes por fato"]
  N1["9.2 Cobertura e denominadores"]
  N2["9.3 Métricas da equipe"]
  N3["9.4 Caso resolvido"]
  N4["9.5 Atividade prática"]
  N5["9.7 Medição como código"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX017"]

Desenho lógico

flowchart LR
  N0["9.1 Fontes por fato"]
  N1["9.2 Cobertura e denominadores"]
  N2["9.3 Métricas da equipe"]
  N3["9.4 Caso resolvido"]
  N4["9.5 Atividade prática"]
  N5["9.7 Medição como código"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX017"]

[9.1 Fontes por fato]
    |
    v
[9.2 Cobertura e denominadores]
    |
    v
[9.3 Métricas da equipe]
    |
    v
[9.4 Caso resolvido]
    |
    v
[9.5 Atividade prática]
    |
    v
[9.7 Medição como código]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX017]

Objetivos de aprendizagem

Você vai (1) escolher fontes válidas para cada fato criptográfico; (2) declarar a cobertura e os denominadores; (3) projetar métricas de prontidão para as equipes de implementação; e (4) apresentar as medições com os pontos cegos.

9.1 Fontes por fato

O grupo TLS negociado é visível no ServerHello e nos logs do servidor; no TLS 1.3, o certificado é cifrado, então os algoritmos dos certificados vêm da configuração ou da inspeção do endpoint. A troca de chaves do SSH aparece nos logs do daemon em níveis detalhados. A negociação da VPN aparece nos logs do appliance. Associe cada fato à fonte que consegue de fato vê-lo.

A KLS aprendeu isso quando um sensor passivo reportou ECDSA para um serviço cujo certificado ele não conseguia ver; o valor tinha sido inferido, não observado. Cada fato agora traz a classe de fonte que pode legitimamente vê-lo, e os valores inferidos são rotulados.

9.2 Cobertura e denominadores

"80 % híbrido" precisa de um denominador (conexões? serviços? serviços de nível 1?) e de uma cobertura (quais sensores, quais locais). Os implementadores devem reportar: os serviços com o híbrido habilitado (configuração), a fração de conexões que negociam o híbrido (logs) e a fração de serviços sem nenhuma evidência.

O painel da KLS usa três números por fluxo: listeners com o híbrido configurado, divididos pelos listeners do inventário; handshakes que negociam o híbrido, divididos pelos handshakes registrados; e serviços sem fonte, divididos pelos serviços de nível 1. Cada número nomeia os seus sensores e a janela de tempo. Um leitor pode então ver que 96 % dos handshakes de navegadores e 0 % das sessões SFTP são híbridos, em vez de um único número misturado que esconde a lacuna do SFTP.

9.3 Métricas da equipe

Métricas úteis para os implementadores: a fração dos serviços de nível 1 que oferecem e preferem o híbrido; a fração das imagens construídas sobre camadas base aprovadas; o tempo entre a mudança aprovada e a implantação; o número de listeners apenas clássicos em endereços voltados para a internet; a taxa de handshakes com falha, por causa.

Cada métrica dispara uma ação específica na KLS. Um serviço de nível 1 que oferece mas não prefere o híbrido recebe um chamado de configuração; uma imagem fora da base aprovada recebe uma reconstrução; um tempo de implantação crescente leva a examinar o processo de mudança; qualquer novo listener apenas clássico na internet é revisado em uma semana; e um aumento das falhas por uma causa, como ClientHellos grandes, abre um caso com o fornecedor.

9.4 Caso resolvido

O primeiro painel da KLS mostrava "conexões híbridas: 71 %". Detalhamento: tráfego de navegadores para a CDN 96 % híbrido (logs da CDN, cobertura total); tráfego do SDK da API 40 % (logs do gateway); SFTP dos parceiros 0 % (logs do daemon); VPN do escritório 0 % (configuração); leitores desconhecido. O número único media sobretudo os navegadores.

O detalhamento também mostrou o que cada equipe precisava fazer. O tráfego da CDN não precisava de nada. O tráfego do SDK precisava que os clientes atualizassem, então a KLS publicou versões do SDK que enviam o key share híbrido por padrão. O SFTP e a VPN precisavam de trabalho de configuração e de appliance. Os leitores precisavam de uma fonte de dados antes que qualquer meta pudesse ser definida. O número único não tinha sugerido nada disso; o detalhamento produziu quatro chamados e um pedido ao fornecedor.

9.5 Atividade prática

Projete três métricas com definição, fonte, denominador, cobertura e dono.

Para cada métrica, escreva a definição numa frase, a fonte dos dados e a sua consulta, o denominador, a cobertura (quais locais, sensores e janela de tempo), o dono e a ação tomada quando o valor se move. Exemplo: "Fração das sessões SFTP dos parceiros que negociam mlkem768x25519-sha256, a partir dos logs do sshd nos dois hosts SFTP, denominador todas as sessões concluídas nos últimos 7 dias, dono Platform Team; abaixo de 50 % depois da data do aviso, dispara um contato com os parceiros." Acrescente ao lado uma métrica de "desconhecidos", contando os parceiros sem nenhuma sessão na janela.

9.6 Erros comuns e limites

• Percentuais únicos de manchete.
• Afirmar fatos sobre certificados a partir de capturas passivas de TLS 1.3.
• Métricas sem dono.

Na KLS, os 71 % da manchete vieram da mistura de tipos de tráfego; o rótulo "ECDSA" do sensor passivo veio de uma captura TLS 1.3 em que o certificado estava cifrado, então não podia ter sido observado; e a métrica de cobertura do scanner não tinha dono, então, quando o scanner quebrou, ninguém percebeu que o número congelou. O limite dos métodos deste capítulo é que eles medem a configuração e a negociação, não se o tráfego gravado já existe no arquivo de um adversário.

9.7 Medição como código

Mantenha as definições das métricas no controle de versão, ao lado dos scripts que as calculam. Quando alguém perguntar por que a fração híbrida mudou de 62 % para 58 %, você pode mostrar se mudou o parque ou a definição — por exemplo, um novo sensor que acrescentou ao denominador o tráfego do escritório antes invisível. Uma mudança de cobertura deve ser anotada no painel, porque um número que cai por causa de uma visibilidade melhor é progresso, não regressão.

Publique também uma métrica de "desconhecidos" ao lado de cada métrica de cobertura: o número de serviços de nível 1 para os quais nenhuma fonte reporta hoje o fato relevante. As equipes que veem a sua contagem de desconhecidos toda semana tendem a corrigir as alimentações que a reduziriam, e é assim que a cobertura da medição melhora sem um projeto separado.

Exercícios

• EX017 — Reescrever. Reescreva "71 % híbrido" como três afirmações com escopo. Rubrica: 3 = escopo por fluxo, com fontes.
• EX018 — Associar fontes. Nomeie a melhor fonte para: o grupo TLS negociado, o algoritmo do certificado do servidor, a KEX do SSH, a troca de chaves da VPN. Rubrica: 3 = quatro fontes corretas.

Síntese

As medições são tão boas quanto as suas fontes, os seus denominadores e a sua cobertura; os implementadores reportam números com escopo e com os pontos cegos visíveis.