Capítulo 7 — Probabilidade e estatística
Mapa da aula
Aula 07 publicada. Mapa, exemplo, EX019.
flowchart TD
N0["7.1 O efeito da taxa-base"]
N1["Laboratório 3 — taxa-base"]
N2["7.2 Lendo o laboratório"]
N3["7.3 Palavras calibradas"]
N4["7.4 Dados assimétricos"]
N5["Nota de prática — Revocação e cobertura"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX019"]
Desenho lógico
flowchart LR
N0["7.1 O efeito da taxa-base"]
N1["Laboratório 3 — taxa-base"]
N2["7.2 Lendo o laboratório"]
N3["7.3 Palavras calibradas"]
N4["7.4 Dados assimétricos"]
N5["Nota de prática — Revocação e cobertura"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX019"]
[7.1 O efeito da taxa-base]
|
v
[Laboratório 3 — taxa-base]
|
v
[7.2 Lendo o laboratório]
|
v
[7.3 Palavras calibradas]
|
v
[7.4 Dados assimétricos]
|
v
[Nota de prática — Revocação e cobertura]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX019]
Objetivos de aprendizagem
Você vai (1) calcular a precisão a partir da sensibilidade, da taxa de falsos positivos e da prevalência; (2) explicar o efeito da taxa-base sobre os alertas; (3) expressar julgamentos com palavras de probabilidade calibradas; (4) escolher resumos adequados a dados assimétricos.
7.1 O efeito da taxa-base
Uma regra que detecta 95% das conexões maliciosas e detecta por engano 2% das benignas parece excelente. Mas, se apenas 1 em cada 100 conexões é maliciosa, a maioria dos alertas é falsa. Se apenas 1 em cada 1.000 é maliciosa, quase todos são. O laboratório demonstra isso com números. Na prevalência mais baixa, quase duas mil conexões benignas são sinalizadas para menos de cem maliciosas. Os analistas aprendem depressa a ignorar esses alertas, e então perdem os verdadeiros. A regra em si não mudou entre as duas linhas; só mudou o tráfego sobre o qual ela roda. É por isso que Kofi sempre pergunta onde uma regra vai rodar antes de julgar o quanto ela é boa.
Laboratório 3 — taxa-base
"""Lab 3 (ch 07): base-rate effect on alert precision for a synthetic indicator match rule."""
for prevalence in (0.01, 0.001):
sens, fpr, n = 0.95, 0.02, 100000
bad = n * prevalence; good = n - bad
tp, fp = bad * sens, good * fpr
print(f"prevalence {prevalence:.3f}: TP={tp:.0f} FP={fp:.0f} precision={tp/(tp+fp):.3f}")
Execute com python3 lab_bayes.py. Saída verificada:
prevalence 0.010: TP=950 FP=1980 precision=0.324
prevalence 0.001: TP=95 FP=1998 precision=0.045
7.2 Lendo o laboratório
Na prevalência 0.010, 950 verdadeiros e 1.980 falsos positivos dão precisão 0.324. Em 0.001, a precisão cai para 0.045: cerca de 21 alertas falsos para cada verdadeiro. A resposta de engenharia: reduzir a taxa de falsos positivos, elevar a prevalência aplicando a regra apenas onde o tráfego malicioso é mais provável, ou encaminhar as detecções ao enriquecimento antes dos analistas. A terceira opção é a que o exemplo resolvido recomenda. Uma detecção passa então a somar peso a outras evidências, em vez de acionar um analista sozinha. Kofi também confere a aritmética à mão uma vez, porque um laboratório que discorda de um cálculo simples geralmente tem um bug.
7.3 Palavras calibradas
Os analistas traduzem probabilidades em palavras. O ensaio de Kent sobre palavras de probabilidade estimativa mostrou que os leitores interpretam "provável" de modo inconsistente; as equipes devem publicar um mapeamento. A ICD 203 também pede que a incerteza seja expressa de forma adequada. O guia de relatórios do Lantern dá a cada palavra uma faixa: por exemplo, provável significa uma probabilidade entre cerca de 0,55 e 0,80. Os analistas escolhem uma palavra da tabela, e não por instinto, e o leitor pode consultar o que ela significa. Kofi procura nos rascunhos palavras fora da tabela, como possivelmente, que os leitores interpretam como qualquer coisa entre rara e meio a meio. A tabela é revista todo ano com as pessoas que leem os relatórios, para que as palavras mantenham o sentido que os leitores esperam.
7.4 Dados assimétricos
O tempo até o bloqueio e a latência do enriquecimento são assimétricos à direita. Medianas e percentis (p90, p99) os descrevem melhor do que médias. A maioria dos indicadores é bloqueada em minutos, mas alguns esperam horas porque um parceiro os reteve ou uma aprovação demorou. Esses poucos puxam a média muito acima do que um indicador típico vive. A mediana mostra o caso habitual e o nonagésimo percentil mostra o quanto os casos lentos pioram. Kofi relata os dois, com a contagem de itens, para que os leitores vejam a cauda longa sem que ela distorça o número típico. Uma única média não descreveria nenhum indicador real.
Nota de prática — Revocação e cobertura
A precisão responde quantos alertas são verdadeiros; a revocação (recall) responde quantos eventos maliciosos foram detectados. Um feed muito preciso, mas que cobre uma pequena parte do cenário de ameaças, ainda pode deixar a BEN exposta. Por isso o Lantern relata as duas, e estima a revocação a partir de revisões de incidentes em que o conjunto completo de eventos maliciosos foi estabelecido depois. Kofi também mantém uma pequena tabela da prevalência suposta para cada segmento de tráfego, porque a mesma regra se comporta de modo muito diferente no Wi-Fi de visitantes e na rede de gerência das subestações.
Exemplo resolvido
Kofi avalia uma regra proposta que detecta qualquer conexão aos IPs de um feed. Ele estima a prevalência perto de 0.001 no tráfego da BEN, calcula a precisão de 0.045 e recomenda usar a regra como entrada do enriquecimento, e não como acionamento direto dos analistas.
Caso sintético. As taxas são ilustrativas.
Erros e limites
A prevalência é difícil de conhecer; declare as suposições. Precisão sem revocação esconde ameaças não detectadas.
Exercícios
- EX019 — Precisão citada. Que precisão o laboratório dá na prevalência 0.001? Rubrica: 3 = 0.045; 2 = aproximada; 1 = 0.95; 0 = nenhuma.
- EX020 — Correção de engenharia. Cite duas formas de melhorar a precisão desta regra. Rubrica: 3 = duas entre reduzir a FPR / restringir a segmentos de maior prevalência / portão de enriquecimento; 2 = uma; 1 = só aumentar a sensibilidade; 0 = nenhuma.
- EX021 — Escolha do percentil. Por que relatar a latência p90 do enriquecimento em vez da média? Rubrica: 3 = a cauda assimétrica importa para a experiência do usuário/SLA; a média a esconde; 2 = vago; 1 = a média é melhor; 0 = nenhuma.
Síntese
As taxas-base dominam a qualidade dos alertas, as palavras precisam de números por trás, e métricas assimétricas precisam de percentis.
Continue estudando — capítulo 07 de 50
← Capítulo 06 (rascunho) · Índice de capítulos do curso · Capítulo 08 (rascunho) →