Capítulo 15 — Evidências e medição

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX043.

flowchart TD
  N0["15.1 O que medir"]
  N1["15.2 Calcular a cobertura"]
  N2["Laboratório — Cobertura dos controles por departamen"]
  N3["15.3 Evidências em contexto"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX043"]

Desenho lógico

flowchart LR
  N0["15.1 O que medir"]
  N1["15.2 Calcular a cobertura"]
  N2["Laboratório — Cobertura dos controles por departamen"]
  N3["15.3 Evidências em contexto"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX043"]

[15.1 O que medir]
    |
    v
[15.2 Calcular a cobertura]
    |
    v
[Laboratório — Cobertura dos controles por departamen]
    |
    v
[15.3 Evidências em contexto]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX043]

Objetivos de aprendizagem

Você vai (1) escolher medições que mostrem se os controles funcionam; (2) calcular métricas de cobertura a partir de dados sintéticos; (3) apresentar as evidências com contexto.

15.1 O que medir

Hannah pergunta a Lucas como a Fernway pode saber se seus controles funcionam. Contar controles diz pouco. Ele propõe medir resultados e cobertura: a fração de contas da equipe com autenticação resistente a phishing, a fração de notebooks que atendem à baseline, o tempo entre o desligamento e a desativação da conta e o número de serviços expostos encontrados nas varreduras mensais. Cada medida se liga a um risco dos capítulos anteriores. Ele escreve as definições com precisão, por exemplo o que conta como atender à baseline, para que os números signifiquem a mesma coisa todo mês e não possam ser inflados mudando as regras.

15.2 Calcular a cobertura

Lucas escreve um script que lê exportações sintéticas do sistema de identidade e da ferramenta de gestão de dispositivos e calcula a cobertura de cada medida, desdobrada por departamento. O laboratório abaixo mostra os números gerais e o departamento com a cobertura mais fraca: a equipe do armazém tem a menor fração de autenticação resistente a phishing, porque muitos compartilham scanners e não têm dispositivos individuais. O desdobramento por departamento transforma uma média única numa ação: o armazém precisa de um projeto de autenticação diferente, talvez login por crachá nos dispositivos compartilhados, e não de um lembrete geral para se cadastrar.

Laboratório — Cobertura dos controles por departamento

# Coverage of phishing-resistant auth and laptop baseline by department (synthetic export).
staff = {"finance": (12, 11), "buying": (9, 7), "stores": (40, 22), "warehouse": (15, 2), "it": (5, 5)}
laptops = {"finance": (12, 12), "buying": (9, 8), "stores": (14, 11), "warehouse": (3, 2), "it": (6, 6)}
tot = sum(n for n, _ in staff.values()); ok = sum(k for _, k in staff.values())
print(f"phishing-resistant auth: {ok}/{tot} = {ok/tot:.0%}")
for d, (n, k) in sorted(staff.items(), key=lambda x: x[1][1] / x[1][0]): print(f"  {d:9} {k}/{n} = {k/n:.0%}")
tl = sum(n for n, _ in laptops.values()); bl = sum(k for _, k in laptops.values())
print(f"laptops meeting baseline: {bl}/{tl} = {bl/tl:.0%}")

Execute com python3 lab_coverage.py. Saída verificada:

phishing-resistant auth: 47/81 = 58%
  warehouse 2/15 = 13%
  stores    22/40 = 55%
  buying    7/9 = 78%
  finance   11/12 = 92%
  it        5/5 = 100%
laptops meeting baseline: 39/44 = 89%

15.3 Evidências em contexto

Lucas apresenta os resultados à direção da Fernway com contagens, porcentagens e tendências, e explica o que cada número mostra e o que não mostra. Uma alta cobertura da baseline não prova que os notebooks estão seguros, só que atendem à baseline; a própria baseline pode deixar passar riscos. Os tempos de desativação dos desligados mostram o desempenho do processo, e não se ex-funcionários usaram indevidamente o acesso. Ele também lista problemas de qualidade dos dados, como dispositivos ausentes da ferramenta de gestão. A medição constrói confiança quando seus limites são declarados ao lado dos seus resultados.

Exemplo resolvido

Lucas define quatro medidas de cobertura e de tempestividade, calcula-as por departamento e apresenta os resultados com seus limites e notas sobre a qualidade dos dados.

Caso sintético. As exportações e os números são sintéticos.

Erros e limites

As métricas de cobertura medem a presença dos controles, não sua eficácia. Dispositivos ausentes inflam a cobertura aparente.

Exercícios

• EX043 — Definição precisa. Por que definir com precisão o que é atender à baseline?

  Mostrar critérios de avaliação

  Rubrica: 3 = para que os números signifiquem o mesmo todo mês e não possam ser inflados por redefinição;; 2 = consistência;; 1 = vago;; 0 = nenhuma.

• EX044 — Departamento mais fraco. Que departamento teve a cobertura resistente a phishing mais fraca no laboratório, e por quê?

  Mostrar critérios de avaliação

  Rubrica: 3 = o armazém, 2 de 15, scanners compartilhados sem dispositivos individuais;; 2 = armazém;; 1 = financeiro;; 0 = nenhuma.

• EX045 — Cautela com a cobertura. O que uma alta cobertura da baseline não prova?

  Mostrar critérios de avaliação

  Rubrica: 3 = que os notebooks estão seguros; só que atendem à baseline;; 2 = limite;; 1 = prova a segurança;; 0 = nenhuma.

Síntese

A medição mostra se os controles estão implantados e funcionando quando é precisa, desagregada e apresentada com os seus limites.