◇ OpenCyber Academy
Graduação · Capítulo 12 · Português

Capítulo 12 — Probabilidade e estatística

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 12 — Probabilidade e estatística

Mapa da aula

Aula 12 publicada. Mapa, exemplo, EX034.

flowchart TD
  N0["12.1 Taxas"]
  N1["12.2 Intervalo de Wilson"]
  N2["12.3 Taxas-base"]
  N3["12.4 Classificar defesas"]
  N4["12.5 Relato"]
  N5["12.7 Retirar um slide de classificação"]
  N6["12.8 Todo intervalo em palavras"]
  N7["12.9 Planejar o número de tentativas"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX034"]

Desenho lógico

flowchart LR
  N0["12.1 Taxas"]
  N1["12.2 Intervalo de Wilson"]
  N2["12.3 Taxas-base"]
  N3["12.4 Classificar defesas"]
  N4["12.5 Relato"]
  N5["12.7 Retirar um slide de classificação"]
  N6["12.8 Todo intervalo em palavras"]
  N7["12.9 Planejar o número de tentativas"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX034"]

[12.1 Taxas]
    |
    v
[12.2 Intervalo de Wilson]
    |
    v
[12.3 Taxas-base]
    |
    v
[12.4 Classificar defesas]
    |
    v
[12.5 Relato]
    |
    v
[12.7 Retirar um slide de classificação]
    |
    v
[12.8 Todo intervalo em palavras]
    |
    v
[12.9 Planejar o número de tentativas]
    |
    v
[Exemplo resolvido] --> [Exercício EX034]

Objetivos de aprendizagem

Você vai (1) calcular um intervalo de Wilson; (2) explicar taxas-base; (3) evitar afirmações exageradas a partir de um n pequeno.

12.1 Taxas

A taxa de detecção k/n precisa de incerteza. Sete de dez não é o mesmo que setenta de cem. As duas dão setenta por cento, mas sustentam afirmações muito diferentes. Com dez tentativas, uma única falha ou detecção a mais move a taxa em dez pontos; assim, a taxa verdadeira poderia plausivelmente estar em qualquer lugar entre cerca de quarenta e quase noventa por cento. Com cem tentativas, a faixa plausível se estreita para aproximadamente sessenta a setenta e oito. Quando o SOC relata que sua nova regra pegou sete das dez técnicas que Sam rodou numa sessão de purple team, o resumo honesto é que a regra provavelmente funciona mais vezes do que não, e que uma afirmação mais forte precisa de mais tentativas.

12.2 Intervalo de Wilson

O lab_wilson imprime intervalos de 95% para contagens sintéticas de detecção de purple team.

"""Lab 12: Wilson 95% interval for a synthetic detection rate in a purple-team exercise."""
import math
def wilson(k, n, z=1.96):
    p = k / n; d = 1 + z*z/n
    c = (p + z*z/(2*n)) / d; h = z*math.sqrt(p*(1-p)/n + z*z/(4*n*n)) / d
    return c - h, c + h
for k, n in [(7, 10), (70, 100)]:
    lo, hi = wilson(k, n)
    print(f"detected {k}/{n} rate={k/n:.2f} 95% CI=({lo:.2f}, {hi:.2f})")

Execute com python3 lab_wilson.py. Saída verificada:

detected 7/10 rate=0.70 95% CI=(0.40, 0.89)
detected 70/100 rate=0.70 95% CI=(0.60, 0.78)

O intervalo de Wilson é preferido à fórmula de livro-texto de p mais ou menos 1,96 erros-padrão porque essa fórmula se comporta mal com amostras pequenas e com taxas perto de zero ou de um. Ela pode produzir intervalos abaixo de zero ou acima de cem por cento e afirma certeza demais quando poucas tentativas foram feitas. A versão de Wilson puxa ligeiramente o centro em direção a um meio e mantém os limites dentro da faixa possível. Exercícios de purple team são exatamente o cenário de amostra pequena e taxa alta em que isso importa. Comparar as duas linhas impressas mostra o ponto prático: os mesmos setenta por cento carregam uma faixa mais de duas vezes mais larga com dez tentativas.

12.3 Taxas-base

Problemas verdadeiros raros, afogados em scanners ruidosos, desperdiçam o tempo de quem corrige. Suponha que um scanner aponte uma fraqueza corretamente em noventa por cento dos hosts vulneráveis e erroneamente em cinco por cento dos corrigidos, e que apenas dois por cento dos mil hosts de staging do TRB sejam de fato vulneráveis. Ele vai encontrar cerca de dezoito dos vinte casos reais e levantar cerca de quarenta e nove alarmes falsos; assim, aproximadamente sete em cada dez alertas estão errados. Desenvolvedores que perseguem esses alarmes falsos aprendem a ignorar o scanner. A taxa-base, a parcela de hosts que realmente têm o problema, decide quão útil é um resultado positivo, e é por isso que Sam confirma à mão a saída do scanner antes de transformá-la em achados.

12.4 Classificar defesas

Prefira intervalos que não se sobrepõem ao afirmar que A vence B. Se um controle deteve catorze de vinte cliques simulados de phishing e outro deteve onze de vinte, o primeiro parece melhor, setenta contra cinquenta e cinco por cento. Seus intervalos de Wilson vão de cerca de quarenta e oito a oitenta e cinco e de cerca de trinta e quatro a setenta e quatro, que se sobrepõem amplamente; portanto, os dados não conseguem separar os dois. A sobreposição não prova que os controles são iguais. Ela mostra que o experimento era pequeno demais para dizer. A não sobreposição é uma regra grosseira e conservadora: um teste formal para a diferença entre duas proporções é melhor, mas a verificação de sobreposição barra a afirmação exagerada mais comum antes que ela chegue a um slide.

12.5 Relato

Os gestores ouvem contagens e intervalos em linguagem simples. Uma frase como "a detecção foi 0,7, com IC de Wilson de 95% de 0,40 a 0,89" está correta e é quase inútil para um leitor que precisa decidir alguma coisa. Sam a reescreve assim: o SOC detectou sete das dez técnicas que tentamos. Com tão poucas tentativas, a taxa real poderia ser tão baixa quanto quatro em dez ou tão alta quanto nove em dez; por isso, recomendamos outra rodada antes de mudar o orçamento. As contagens vêm primeiro porque as pessoas conseguem visualizá-las, a faixa vem a seguir em palavras, e a frase termina com o que a incerteza significa para a decisão.

12.6 Limites

As premissas de independência falham quando os testes compartilham falhas do ambiente. Os cálculos de intervalo presumem que cada tentativa é um sorteio separado, de modo que um resultado não influencia outro. Exercícios reais quebram essa premissa. Se um encaminhador de logs ficou fora do ar por uma hora, toda técnica que Sam rodou naquela hora passou sem detecção pelo mesmo motivo, e dez falhas equivalem, na verdade, a uma única falha contada dez vezes. O intervalo então parece mais estreito do que a evidência justifica. Sam registra o horário e o host-alvo de cada tentativa, verifica se as falhas se agrupam e relata uma falha agrupada como um único achado de infraestrutura, e não como uma taxa de detecção baixa.

12.7 Retirar um slide de classificação

Quando os intervalos se sobrepõem, Sam proíbe classificar defesas como vencedoras. Um slide certa vez afirmava que o MFA vencia o treinamento contra phishing com base em intervalos de Wilson sobrepostos; ele retirou o slide e pediu mais tentativas em vez de uma fonte maior. O autor do slide não estava errado em achar que o MFA provavelmente ajuda mais; o conhecimento prévio sugere que sim. O problema era que o slide apresentava os dados do exercício como prova, e os dados não aguentavam esse peso. Sam sugeriu uma redação que mantinha separados o conhecimento prévio e a evidência: a experiência do setor favorece o MFA, e este exercício foi pequeno demais para confirmar ou contradizer isso. Ele também propôs o número de tentativas necessário para uma resposta mais clara no trimestre seguinte.

12.8 Todo intervalo em palavras

Sam exige que todo intervalo de uma apresentação apareça uma vez em palavras: "entre cerca de X e Y". Gráficos sozinhos não bastam para o material do conselho. Barras de erro num gráfico são fáceis de ignorar e difíceis de ler quando os slides são impressos em tons de cinza ou percorridos rapidamente num celular. Uma frase sobrevive às duas situações. A regra também pega erros, porque escrever que a taxa ficou entre cerca de quarenta e noventa por cento faz o revisor notar quão larga ela é, coisa que uma barra elegante com um bigode fino não faz. Os membros do conselho que leem as palavras fazem perguntas melhores com consistência, geralmente sobre como estreitar a faixa.

12.9 Planejar o número de tentativas

Uma pequena ferramenta sugere n para uma largura-alvo do IC. Sam a usa antes de prometer taxas de detecção a executivos. O planejador inverte o intervalo: dê a ele a taxa que você espera e a largura de faixa que pode aceitar, e ele devolve aproximadamente quantas tentativas você precisa. Para uma taxa perto de um meio e uma faixa de dez pontos para cada lado, a resposta é perto de noventa e seis tentativas. Rodá-lo antes de um exercício muda a conversa. A promessa de medir a detecção com precisão de dez pontos vira ou um compromisso com cerca de cem tentativas, ou uma decisão honesta de relatar uma faixa mais larga a partir das vinte tentativas que a janela permite.

12.10 O financeiro pede um único número

O financeiro pede uma única porcentagem de detecção para o relatório anual. Em vez disso, Sam dá duas frases com intervalos. O jurídico prefere a versão dele, porque ela não pode ser lida como uma garantia. A linguagem da incerteza protege o banco. Um único número impresso num relatório anual se torna uma declaração pública sobre as defesas do banco. Se o TRB publicasse que detecta setenta por cento dos ataques, um regulador ou um litigante, depois de uma violação, poderia tratar isso como uma declaração que o banco não cumpriu. As frases de Sam descrevem o que foi medido, em qual exercício e com que incerteza, o que é preciso e muito mais difícil de ler errado. O financeiro ganha um número para citar, e o banco não promete mais do que sua evidência mostra.

12.11 Encolher a afirmação

O planejador de tamanho de amostra disse a Sam que ele precisava de n≈96 para um intervalo apertado. Ele encolheu a afirmação em vez de inventar dados. Planejadores existem para encolher promessas. A janela do exercício permitia cerca de trinta tentativas. Sam poderia ter rodado as mesmas técnicas três vezes cada para chegar a noventa e seis, mas execuções repetidas contra os mesmos hosts não são independentes; portanto, o intervalo mais estreito teria sido falso. Em vez disso, o relatório afirmou o que trinta tentativas independentes sustentavam: a detecção provavelmente estava acima de um meio, e comparações mais finas exigiriam um exercício maior. O principal valor do planejador foi tornar esse limite visível antes que alguém tivesse prometido mais.

12.12 Um apêndice que explica a recusa

O material do conselho que insiste num único número recebe o apêndice de Sam com a justificativa da recusa. O jurídico endossou o apêndice. O apêndice tem uma página. Ele mostra as contagens, o intervalo e dois parágrafos curtos. O primeiro explica por que uma única porcentagem exageraria o que o exercício mediu. O segundo diz o que o banco pode afirmar com segurança. Escrevê-lo uma vez poupa discutir o mesmo ponto a cada trimestre, e anexá-lo sempre que alguém pede um único número leva a discussão da opinião de Sam para uma posição acordada do banco. O endosso do jurídico importa porque o risco que o apêndice trata é tanto jurídico quanto estatístico.

12.13 Registrar o endosso do jurídico

O apêndice de recusa tem anexado o hash do e-mail de endosso do jurídico. Sam adora a integridade chata. O hash permite a qualquer pessoa confirmar depois que o apêndice num material do conselho é a versão que o jurídico aprovou, não uma cópia editada. O e-mail de endosso é armazenado no arquivo de governança, e seu valor SHA-256 é impresso no rodapé do apêndice. Se a redação muda, o hash deixa de bater e a mudança precisa de um novo endosso. Isso usa o mesmo hábito de integridade do manuseio de evidências: um documento cuja autoridade importa deve poder ser conferido sem confiar em quem o encaminhou.

Exemplo resolvido (TRB sintético)

Sam mostra 7/10, IC (0,40; 0,89), contra 70/100, IC (0,60; 0,78), para explicar por que o TRB financia mais tentativas antes de declarar uma vitória de detecção.

Caso sintético — Riverstone Transit Bank (TRB). O banco, Sam Ito, TrackScope/FindingsDesk/PulseMap e todos os números são inventados para fins didáticos.

Erros e limites

Este livro não concede nenhuma autoridade para testar bancos ou sistemas de pagamento reais. Os laboratórios usam apenas endereços de faixas de documentação e dados sintéticos; código de exploit nunca é fornecido.

Exercícios

Síntese

Amostras pequenas precisam de intervalos; confiança não é uma porcentagem de segurança.

Continue estudando — capítulo 12 de 40

← Capítulo 11 (rascunho) · Índice de capítulos do curso · Capítulo 13 (rascunho) →