OpenCyber Academy
Graduação · Capítulo 12 · Português
Código do curso: OCA-109Capítulo 12: OCA-109-C012

Capítulo 12 — Probabilidade e estatística

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 12 publicada. Mapa, exemplo, EX034.

flowchart TD
  N0["12.1 Taxas de base"]
  N1["12.2 Uma população resolvida"]
  N2["Laboratório — efeito da taxa de base"]
  N3["12.3 Lendo o resultado"]
  N4["12.4 Consequências"]
  N5["12.5 Combinando evidências"]
  N6["12.6 Comunicando a incerteza"]
  N7["12.7 Estimando as taxas"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX034"]

Desenho lógico

flowchart LR
  N0["12.1 Taxas de base"]
  N1["12.2 Uma população resolvida"]
  N2["Laboratório — efeito da taxa de base"]
  N3["12.3 Lendo o resultado"]
  N4["12.4 Consequências"]
  N5["12.5 Combinando evidências"]
  N6["12.6 Comunicando a incerteza"]
  N7["12.7 Estimando as taxas"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX034"]

[12.1 Taxas de base]
    |
    v
[12.2 Uma população resolvida]
    |
    v
[Laboratório — efeito da taxa de base]
    |
    v
[12.3 Lendo o resultado]
    |
    v
[12.4 Consequências]
    |
    v
[12.5 Combinando evidências]
    |
    v
[12.6 Comunicando a incerteza]
    |
    v
[12.7 Estimando as taxas]
    |
    v
[Exemplo resolvido] --> [Exercício EX034]

Objetivos de aprendizagem

Você vai (1) aplicar taxas de base a alertas e indicadores; (2) calcular a probabilidade de um alerta ser verdadeiro; (3) explicar por que eventos raros produzem muitos alarmes falsos; (4) comunicar a incerteza.

12.1 Taxas de base

Os indicadores de comprometimento (domínios maliciosos conhecidos, hashes de arquivos) geram alertas. Se um alerta significa infecção depende não só da exatidão do indicador, mas também de quão comum é a infecção — a taxa de base. Uma regra que acerta 99% das vezes em hosts limpos ainda produz muitos alertas falsos quando os hosts limpos se contam aos milhares. O perito precisa dos dois números, a exatidão da regra e a taxa de base, para julgar o que um alerta significa. O exemplo seguinte percorre a aritmética com os números da universidade.

12.2 Uma população resolvida

A universidade tem 10.000 hosts; 20 estão infectados. Uma regra de detecção sinaliza 95% dos hosts infectados (sensibilidade) e sinaliza por engano 1% dos limpos (taxa de falsos positivos). Esses números são sintéticos, mas realistas para um campus grande: a infecção é rara, e mesmo uma boa regra tem alguns falsos positivos. A pergunta é que fração dos hosts sinalizados está de fato infectada. Escrever a população em contagens, e não em porcentagens, torna a resposta fácil de calcular: multiplique cada grupo por sua taxa e compare os dois resultados.

Laboratório — efeito da taxa de base

"""Base-rate effect on an indicator alert (synthetic rates)."""
hosts = 10_000; infected = 20
sens, fpr = 0.95, 0.01
tp = infected * sens; fp = (hosts - infected) * fpr
print(f"true alerts={tp:.0f} false alerts={fp:.0f}")
print(f"P(infected | alert)={tp/(tp+fp):.3f}")

Execute com python3 lab_baserate.py. Saída verificada:

true alerts=19 false alerts=100
P(infected | alert)=0.160

12.3 Lendo o resultado

Cerca de 19 alertas verdadeiros e 100 alertas falsos: só 0,160 (16%) dos hosts alertados estão de fato infectados. A regra parece exata (95%, 1%), mas a maioria dos alertas é falsa, porque os hosts limpos superam muito os infectados. Em números: 95% de 20 hosts infectados dão 19, e 1% de 9.980 hosts limpos dá cerca de 100. Assim, 19 de cerca de 119 alertas são verdadeiros. Se a infecção fosse dez vezes mais comum, a parcela de alertas verdadeiros subiria muito, e é por isso que a mesma regra pode ser útil num ambiente e ruidosa em outro. Com 200 hosts infectados, ela daria cerca de 190 alertas verdadeiros e 98 falsos, de modo que cerca de dois em cada três alertas seriam reais.

12.4 Consequências

Os respondentes fazem a triagem dos alertas com outras evidências antes de agir. Os peritos não tratam uma única ocorrência de indicador como prova. Respondentes que agissem a cada alerta passariam a maior parte do tempo com os 100 hosts limpos. A triagem significa conferir cada alerta com outras evidências, como uma chave de persistência ou um logon incomum, antes de isolar uma máquina. Na ws-114, o alerta foi só o começo; a árvore de processos, o registro do proxy e a run key o transformaram num achado sobre o qual o escritório de segurança podia agir.

12.5 Combinando evidências

Se um host alertado também mostra uma chave de persistência correspondente e um hash de arquivo sabidamente malicioso, a evidência combinada é muito mais forte do que o alerta sozinho — desde que as peças sejam razoavelmente independentes. A independência importa porque dois indicadores disparados pela mesma causa benigna acrescentam pouco. Uma atualização de software que mexa na run key e uma lista de hashes que inclua por engano a DLL da atualização disparariam pelo mesmo motivo inofensivo. Leah verifica se suas peças de evidência poderiam ter uma causa comum antes de tratá-las como confirmações separadas.

12.6 Comunicando a incerteza

"O host correspondeu a um indicador; isoladamente, isso tem valor limitado, porque em nosso ambiente os alertas falsos superam os verdadeiros. Outras evidências confirmam…" A frase explica o limite em termos simples, usa os números do próprio ambiente e depois nomeia as outras evidências. Na ws-114, essas evidências são a árvore de processos da planilha até o rundll32, o POST no proxy e a run key das 09:31:07. Leitores que não são estatísticos conseguem acompanhar o raciocínio e ver por que a conclusão é mais forte do que o alerta sozinho.

12.7 Estimando as taxas

A sensibilidade e a taxa de falsos positivos devem ser medidas no ambiente real, e não tiradas das promessas dos fornecedores. Os fornecedores medem as taxas com seus próprios conjuntos de teste, que podem diferir muito de uma rede universitária cheia de softwares de pesquisa incomuns. O escritório de Grace estima as taxas de falsos positivos revisando uma amostra de alertas de um mês recente e contando quantos se mostraram benignos. É esse número, com o tamanho da amostra, que Leah usa no cálculo da taxa de base, e ela o atualiza quando a regra muda.

Estimando a partir de contagens pequenas

Com apenas 20 hosts infectados, a estimativa de 95% de sensibilidade é incerta; 19 detectados em 20 são compatíveis com uma taxa real um tanto menor. Leah relata as contagens junto com as taxas.

Exemplo resolvido

A ws-114 disparou o alerta. Leah não para por aí: lista as evidências que o corroboram — o POST no proxy para a página falsa, a run key, update.dll carregado na memória. Só com elas o laudo conclui que a ws-114 foi comprometida.

Caso sintético. As taxas são inventadas.

Erros e limites

A independência suposta entre os itens de evidência muitas vezes é imperfeita; superestimar a força combinada é um erro comum.

Exercícios

Síntese

As taxas de base decidem o que um alerta significa; corrobore antes de concluir.

Continue estudando — capítulo 12 de 40

← Capítulo 11 (rascunho) · Índice de capítulos do curso · Capítulo 13 (rascunho) →

Respostas comentadas

EX034. Cerca de 19 alertas verdadeiros e 100 alertas falsos, então P(infectado | alerta) = 0,160.

EX035. A infecção é rara (20 em 10.000), então 1% dos 9.980 hosts limpos produz muito mais alertas do que 95% dos 20 infectados.

EX036. O registro do proxy com os dados enviados por POST para a página falsa, a run key apontando para update.dll e update.dll carregado no rundll32 na memória.