Capítulo 15 — Evidências e medição

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX043.

flowchart TD
  N0["15.1 Medidas válidas"]
  N1["15.2 Produtos e resultados"]
  N2["Laboratório — Mediana do tempo até o primeiro report"]
  N3["15.3 Medir com respeito"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX043"]

Desenho lógico

flowchart LR
  N0["15.1 Medidas válidas"]
  N1["15.2 Produtos e resultados"]
  N2["Laboratório — Mediana do tempo até o primeiro report"]
  N3["15.3 Medir com respeito"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX043"]

[15.1 Medidas válidas]
    |
    v
[15.2 Produtos e resultados]
    |
    v
[Laboratório — Mediana do tempo até o primeiro report]
    |
    v
[15.3 Medir com respeito]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX043]

Objetivos de aprendizagem

Você vai (1) escolher medidas válidas de comportamento de segurança; (2) distinguir produtos de resultados; (3) medir sem prejudicar a confiança.

15.1 Medidas válidas

Uma medida é válida se captura o que diz capturar. As taxas de conclusão de cursos mostram que as pessoas clicaram até o fim de um módulo, e não que se comportam com segurança. As taxas de clique em simulações dependem muito da dificuldade do e-mail, que a NIST Phish Scale (Dawkins e Jacobs, 2023) ajuda a classificar. Nadia lista medidas candidatas para a Ashcombe e julga a validade de cada uma. As taxas de reporte de e-mails suspeitos reais e o tempo até o primeiro reporte estão mais perto do que importa: a rapidez com que a organização fica sabendo de um ataque.

15.2 Produtos e resultados

Produtos são o que o programa entrega, como vídeos exibidos ou e-mails enviados. Resultados são mudanças no mundo, como menos fraudes bem-sucedidas ou reportes mais rápidos. Nadia classifica os números atuais da Ashcombe e descobre que todos são produtos. Ela propõe duas medidas de resultado: a mediana do tempo entre a chegada de um e-mail malicioso e o primeiro reporte, e o número de pedidos de pagamento fraudulentos barrados. O laboratório calcula a mediana do tempo a partir de um mês sintético de dados, mostrando como um resultado pode ser calculado a partir de registros já existentes.

Laboratório — Mediana do tempo até o primeiro reporte

# Median minutes from arrival to first report for a month of malicious emails (synthetic).
times = [4, 7, 9, 11, 12, 14, 15, 22, 30, 41, 65]
s = sorted(times); print("emails:", len(s), "median:", s[len(s) // 2], "min")

Execute com python3 lab_median.py. Saída verificada:

emails: 11 median: 14 min

15.3 Medir com respeito

A medição pode prejudicar a confiança se os funcionários se sentirem vigiados. Nadia propõe que os resultados sejam relatados por grupos de unidades com vinte ou mais pessoas, que os dados individuais não sejam mostrados aos gestores e que os funcionários vejam o mesmo resumo que o conselho. Ela também propõe perguntar aos funcionários, a cada poucos meses, quanto esforço a segurança exige. Medir o ônus junto com os resultados lembra aos líderes que o esforço de segurança tem um custo, e que um programa que melhora os resultados à custa de esgotar os funcionários dificilmente vai durar. Os representantes dos funcionários revisam a proposta.

Exemplo resolvido

Nadia julga a validade das medidas, separa produtos de resultados, calcula uma mediana do tempo de reporte e propõe uma medição respeitosa.

Caso sintético. Os dados são sintéticos; Dawkins e Jacobs (2023) é real.

Erros e limites

As medidas de resultado podem ser ruidosas. Ataques não reportados são invisíveis.

Exercícios

• EX043 — Validade da conclusão. Por que as taxas de conclusão são medidas fracas?
  Mostrar critérios de avaliação

  Rubrica: 3 = mostram que se clicou até o fim, e não o comportamento;; 2 = validade;; 1 = vago;; 0 = nenhuma.
• EX044 — Resultado da mediana. Qual foi a mediana do tempo até o primeiro reporte no laboratório?
  Mostrar critérios de avaliação

  Rubrica: 3 = 14 minutos;; 2 = 14;; 1 = vago;; 0 = nenhuma.
• EX045 — Medida de ônus. Por que medir também o esforço dos funcionários?
  Mostrar critérios de avaliação

  Rubrica: 3 = o esforço é um custo real que afeta a sustentabilidade;; 2 = custo;; 1 = vago;; 0 = nenhuma.

Síntese

Medidas de resultado válidas, coletadas com respeito, mostram se um programa ajuda.