Capítulo 7 — Probabilidade e estatística

Mapa da aula

Aula 07 publicada. Mapa, exemplo, EX019.

flowchart TD
  N0["7.1 Estimando taxas"]
  N1["7.2 Taxas-base"]
  N2["7.3 Variação"]
  N3["7.4 Comparando grupos"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX019"]

Desenho lógico

flowchart LR
  N0["7.1 Estimando taxas"]
  N1["7.2 Taxas-base"]
  N2["7.3 Variação"]
  N3["7.4 Comparando grupos"]
  N0 --> N1 --> N2 --> N3 --> Q["EX019"]

[7.1 Estimando taxas]
    |
    v
[7.2 Taxas-base]
    |
    v
[7.3 Variação]
    |
    v
[7.4 Comparando grupos]
    |
    v
[Exemplo resolvido] --> [Exercício EX019]

Objetivos de aprendizagem

Você vai (1) estimar taxas a partir de dados de segurança; (2) raciocinar sobre taxas-base nos alertas; (3) quantificar a incerteza.

7.1 Estimando taxas

Lindiwe estima com que frequência os funcionários da Saltmarsh relatam e-mails de phishing. Pelos dados sintéticos, 180 de 1.800 funcionários relataram pelo menos uma mensagem num trimestre, uma proporção de dez por cento. Ela calcula um intervalo de confiança e o encontra razoavelmente estreito, porque a amostra é grande. O Prof. Hale pede que ela declare o que a proporção descreve, os funcionários que relataram pelo menos uma vez, para que ninguém a confunda com a parcela dos e-mails de phishing que são relatados. Ela relata o intervalo junto com a proporção. A equipe de segurança usa o número como linha de base para futuras campanhas de conscientização.

7.2 Taxas-base

Uma regra de alerta sinaliza logins suspeitos com sensibilidade de noventa e nove por cento e especificidade de noventa e nove por cento. Lindiwe calcula o que acontece quando apenas um login em dez mil é malicioso. Num milhão de logins, cerca de noventa e nove ataques verdadeiros são sinalizados, junto com cerca de dez mil alarmes falsos. A maioria dos alertas é falsa, mesmo que a regra pareça precisa. Ela aprende que as taxas-base dominam a qualidade dos alertas e que os analistas devem esperar muitos falsos positivos na detecção de eventos raros. A equipe de monitoramento confirma que isso corresponde à sua experiência diária com os alertas de login.

7.3 Variação

As contagens semanais de detecções de malware variam mesmo quando nada muda. Lindiwe as modela como um processo de Poisson com média de doze por semana e mostra que semanas com dezoito ou mais acontecem ocasionalmente por acaso. Os gerentes tinham tratado uma semana assim como um surto. Ela recomenda limites de controle que marquem as semanas realmente incomuns. O Prof. Hale observa que entender a variação comum evita tanto o pânico com o ruído quanto a complacência diante de mudanças reais. Ela traça um ano de contagens semanais sintéticas com os limites desenhados como linhas horizontais.

7.4 Comparando grupos

A Saltmarsh quer saber se os depósitos com notebooks mais novos têm menos detecções de malware. Lindiwe adverte que os notebooks mais novos foram para os depósitos maiores, que também têm equipe de TI dedicada, então qualquer diferença poderia refletir a equipe, e não o hardware. Ela propõe comparar as taxas de detecção por dispositivo dentro de depósitos de porte semelhante. Ela aprende que a confusão é a principal armadilha dos dados observacionais de segurança e que as comparações precisam de um desenho cuidadoso. O gerente de TI concorda em fornecer as contagens de dispositivos por depósito. Lindiwe observa que, mesmo em depósitos semelhantes, a idade dos notebooks ainda pode estar correlacionada com outras diferenças que ela não consegue medir.

Exemplo resolvido

Lindiwe estima uma taxa de relatos de dez por cento, mostra que as taxas-base tornam falsa a maioria dos alertas, modela as detecções semanais como Poisson e aponta a confusão numa comparação de notebooks.

Caso sintético. Os números são sintéticos.

Erros e limites

Um detector que parece preciso ainda pode produzir alertas em sua maioria falsos.

Exercícios

• EX019 — Alarmes falsos. Aproximadamente quantos alarmes falsos ocorrem por milhão de logins?

  Mostrar critérios de avaliação

  Rubrica: 3 = cerca de dez mil;; 2 = próximo;; 1 = errado;; 0 = nenhuma.

• EX020 — Semanas de Poisson. Que modelo descreve as detecções semanais?

  Mostrar critérios de avaliação

  Rubrica: 3 = Poisson com média doze;; 2 = parcialmente correto;; 1 = outro;; 0 = nenhuma.

• EX021 — Fator de confusão dos notebooks. O que poderia explicar menos detecções com notebooks novos?

  Mostrar critérios de avaliação

  Rubrica: 3 = depósitos maiores com equipe de TI;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.