Capítulo 29 — Fatores humanos e política cibernética: medição
Mapa da aula
Aula 29 publicada. Mapa, exemplo, EX085.
flowchart TD
N0["29.1 Medidas de resultado"]
N1["29.2 Calcular a exposição"]
N2["Laboratório — Tempo até o primeiro reporte e exposiç"]
N3["29.3 Incentivos perversos"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX085"]
Desenho lógico
flowchart LR
N0["29.1 Medidas de resultado"]
N1["29.2 Calcular a exposição"]
N2["Laboratório — Tempo até o primeiro reporte e exposiç"]
N3["29.3 Incentivos perversos"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX085"]
[29.1 Medidas de resultado]
|
v
[29.2 Calcular a exposição]
|
v
[Laboratório — Tempo até o primeiro reporte e exposiç]
|
v
[29.3 Incentivos perversos]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX085]
Objetivos de aprendizagem
Você vai (1) definir medidas de resultado para o programa; (2) calcular o tempo de exposição a partir dos dados de reportes; (3) evitar incentivos perversos nas métricas.
29.1 Medidas de resultado
Aiko define medidas para o programa da Greyford: a mediana do tempo entre a chegada de um e-mail malicioso e o primeiro reporte; a proporção de e-mails maliciosos reportados por pelo menos uma pessoa; a proporção de reportes que são ameaças reais; o ônus para os funcionários, medido por um questionário trimestral de duas perguntas; e, como medida secundária, a taxa de cliques em simulações com dificuldade fixa na Phish Scale. Cada medida tem uma definição, uma fonte de dados e um responsável. Ela põe em primeiro lugar o tempo até o reporte, porque ele se relaciona diretamente com o tempo em que os ataques permanecem ativos. Os responsáveis revisam suas medidas mensalmente com Aiko.
29.2 Calcular a exposição
O laboratório calcula, para um mês de e-mails maliciosos sintéticos, o tempo até o primeiro reporte e o número de caixas de entrada expostas até a remoção. A mediana do tempo até o primeiro reporte é de poucos minutos, mas dois e-mails nunca foram reportados e só foram removidos quando o fornecedor do filtro atualizou suas regras, horas depois. Esses dois respondem pela maior parte da exposição. Aiko recomenda investigar por que não foram reportados; os dois imitavam um lembrete interno de folha de ponto que os funcionários esperavam receber. Ela compartilha o achado também com o fornecedor do filtro.
Laboratório — Tempo até o primeiro reporte e exposição das caixas de entrada
# Time to first report and inbox-minutes of exposure for a month of malicious emails (synthetic).
emails = [("invoice lure", 40, 4, 30), ("mailbox full", 25, 6, 30), ("parcel", 60, 3, 25), ("ceo favour", 8, 11, 20),
("bank update", 35, 5, 30), ("timesheet reminder A", 120, None, 360), ("timesheet reminder B", 90, None, 300)]
# (name, recipients, minutes to first report or None, minutes to removal after report or after filter update)
total = 0; parts = []
for name, n, first, rem in emails:
mins = (first + rem) if first is not None else rem
exp = n * mins; total += exp; parts.append((name, first, exp))
firsts = sorted(f for _, f, _ in parts if f is not None)
print(f"median time to first report (reported emails): {firsts[len(firsts) // 2]} min; never reported: {sum(f is None for _, f, _ in parts)}")
unrep = sum(e for _, f, e in parts if f is None)
print(f"total inbox-minutes {total}; never-reported share {unrep / total:.0%}")
Execute com python3 lab_exposure.py. Saída verificada:
median time to first report (reported emails): 5 min; never reported: 2
total inbox-minutes 75613; never-reported share 93%
29.3 Incentivos perversos
Aiko adverte contra metas que distorcem o comportamento. Uma meta de reduzir a taxa de cliques poderia ser cumprida enviando simulações mais fáceis e com menos frequência. Uma meta de número de reportes poderia ser cumprida incentivando os funcionários a reportar tudo, sobrecarregando a triagem. Ela propõe acompanhar as medidas em pares, como o número de reportes junto com a proporção de ameaças reais, e nunca vincular a elas remuneração ou punição individual. A medição deve ajudar o programa a aprender, e não criar jogos. Ela escreve essas regras no estatuto do programa, para que futuros gestores não possam introduzir discretamente metas individuais, e pede ao conselho que revise as medidas a cada ano para conferir se ainda servem ao aprendizado.
Exemplo resolvido
Aiko define cinco medidas com responsáveis, calcula o tempo até o reporte e a exposição a partir de dados sintéticos e acompanha as medidas em pares para evitar incentivos perversos.
Caso sintético. Os dados são sintéticos; a Phish Scale é real.
Erros e limites
E-mails não reportados só são encontrados se forem detectados de outra forma. Medidas em pares ainda exigem julgamento.
Exercícios
- EX085 — Medida principal. Por que pôr em primeiro lugar o tempo até o reporte? Rubrica: 3 = relaciona-se diretamente com o tempo em que os ataques ficam ativos;; 2 = exposição;; 1 = vago;; 0 = nenhuma.
- EX086 — Exposição no laboratório. Quanta exposição veio dos dois e-mails não reportados? Rubrica: 3 = os dois nunca reportados causaram 93% dos minutos-caixa de exposição;; 2 = a maior parte;; 1 = vago;; 0 = nenhuma.
- EX087 — Medidas em pares. Por que acompanhar as medidas em pares? Rubrica: 3 = para impedir que uma meta seja manipulada à custa de outra;; 2 = manipulação;; 1 = vago;; 0 = nenhuma.
Síntese
Medidas centradas na exposição, acompanhadas em pares e mantidas longe de consequências individuais ajudam um programa a aprender.
Continue estudando — aula 29 (capítulo 29 de 50)
← Capítulo 28 · Índice das aulas · Capítulo 30 →
Continue para a próxima aula já escrita.