Capítulo 12 — Probabilidade e estatística

Mapa da aula

Aula 12 publicada. Mapa, exemplo, EX034.

flowchart TD
  N0["12.1 Palavras de probabilidade estimativa"]
  N1["Laboratório — conferir palavras estimativas"]
  N2["12.2 Lendo o resultado"]
  N3["12.3 Taxas-base"]
  N4["12.4 Falsa precisão"]
  N5["12.5 Probabilidade versus confiança"]
  N6["12.6 Amostras pequenas"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX034"]

Desenho lógico

flowchart LR
  N0["12.1 Palavras de probabilidade estimativa"]
  N1["Laboratório — conferir palavras estimativas"]
  N2["12.2 Lendo o resultado"]
  N3["12.3 Taxas-base"]
  N4["12.4 Falsa precisão"]
  N5["12.5 Probabilidade versus confiança"]
  N6["12.6 Amostras pequenas"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX034"]

[12.1 Palavras de probabilidade estimativa]
    |
    v
[Laboratório — conferir palavras estimativas]
    |
    v
[12.2 Lendo o resultado]
    |
    v
[12.3 Taxas-base]
    |
    v
[12.4 Falsa precisão]
    |
    v
[12.5 Probabilidade versus confiança]
    |
    v
[12.6 Amostras pequenas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX034]

Objetivos de aprendizagem

Você vai (1) expressar a confiança analítica com palavras calibradas; (2) conferir a redação com uma escala de probabilidade; (3) explicar as taxas-base; (4) evitar a falsa precisão.

12.1 Palavras de probabilidade estimativa

Sherman Kent mostrou que os leitores interpretam "provável" em qualquer ponto entre cerca de 20% e 90%. A ICD 203 exige que os produtos analíticos expressem a probabilidade de forma consistente. As equipes adotam uma escala — por exemplo, "muito provável" para 80–95% — e a seguem. Amara usa a escala da equipe em todos os produtos e a acrescenta como nota de rodapé, para que leitores de fora da equipe possam interpretar as palavras. A descoberta de Kent mostra que o problema não é escrita descuidada, mas leituras realmente diferentes das mesmas palavras. Uma escala comum dá às palavras um significado fixo, e a nota de rodapé permite que os leitores do HSSC ou do conselho do HCHT a apliquem da mesma forma.

Laboratório — conferir palavras estimativas

"""Lab 3 (ch 12): map estimative words to a published probability scale and flag misuse (synthetic)."""
SCALE = {"almost no chance": (0, 5), "very unlikely": (5, 20), "unlikely": (20, 45),
         "roughly even chance": (45, 55), "likely": (55, 80), "very likely": (80, 95),
         "almost certainly": (95, 100)}
claims = [("C1", "likely", 70), ("C2", "very likely", 60), ("C3", "unlikely", 30), ("C4", "probable", 75)]
for cid, word, analyst_pct in claims:
    if word not in SCALE:
        print(cid, f"'{word}' not on team scale -> rewrite")
        continue
    lo, hi = SCALE[word]
    print(cid, word, f"{analyst_pct}%", "consistent" if lo <= analyst_pct <= hi else f"INCONSISTENT (scale {lo}-{hi}%)")

Execute com python3 lab_wep.py. Saída verificada:

C1 likely 70% consistent
C2 very likely 60% INCONSISTENT (scale 80-95%)
C3 unlikely 30% consistent
C4 'probable' not on team scale -> rewrite

12.2 Lendo o resultado

A alegação C1 diz likely com 70% — consistente. C2 diz very likely, mas atribui 60%, fora da faixa de 80–95% da equipe, então a redação exagera a confiança. C3, unlikely com 30%, é consistente. C4 usa probable, que não está na escala da equipe e precisa ser reescrita. Amara devolve o rascunho com as duas alegações inconsistentes marcadas e a escala anexada. O autor pode mudar a palavra ou mudar o número, mas precisa explicar qual julgamento é o correto. A consistência é conferida antes que qualquer coisa saia da equipe, porque os leitores de fora agirão com base na palavra que veem, e não em um número que nunca leram.

12.3 Taxas-base

Se um e-mail em dez mil é malicioso, um filtro que marca 1% dos e-mails produz sobretudo alarmes falsos, mesmo que pegue todos os phishings. Sempre pergunte pela taxa-base antes de julgar uma detecção. Amara aplica isso a uma regra de alerta proposta depois de um relatório do HSSC e descobre que a maioria dos alertas esperados seria inofensiva. A equipe estreita a regra antes de implantá-la. Depois do ajuste, a regra dispara algumas vezes por semana, e cada alerta é conferido no mesmo dia, um ritmo que a equipe consegue sustentar.

12.4 Falsa precisão

"Há 73,4% de chance de este grupo ser o responsável" implica uma medição que não existe. Use faixas. Amara substitui esses números nos rascunhos por uma palavra da escala da equipe e uma justificativa curta. Um número preciso sugere que a probabilidade foi calculada a partir de dados, quando na prática reflete o julgamento de um analista com base em evidências incompletas. As faixas são honestas quanto a isso e mais fáceis de usar pelos leitores. Se um número é necessário para um modelo, ele é dado como intervalo e rotulado como estimativa.

12.5 Probabilidade versus confiança

A probabilidade descreve quão provável é um evento; a confiança descreve a qualidade da evidência e do raciocínio por trás do julgamento. A ICD 203 pede que os analistas expressem e expliquem as duas. Amara aprende a escrever as duas em uma frase, como "provável, com confiança moderada porque só uma fonte o relata". As duas podem divergir: um evento pode ser provável enquanto a confiança é baixa, se a evidência é escassa. Os leitores precisam das duas para decidir quanto peso dar a um julgamento. Amara confere as duas partes em cada julgamento de seus rascunhos.

12.6 Amostras pequenas

Com cinco relatórios, uma menção a mais ou a menos faz uma porcentagem oscilar vinte pontos. Quando as amostras são pequenas, relate as contagens, evite ordenar valores próximos e diga que o padrão pode mudar com mais dados. A estatística não salva uma amostra que simplesmente contém pouca informação. Amara aplica isso ao resumo trimestral do HSSC. Vários trimestres têm só um punhado de relatórios por categoria, então ela pede ao HSSC que mostre as contagens ao lado de cada porcentagem e marque as classificações que dependem de um ou dois relatórios. O HSSC adota a mudança no resumo seguinte.

Exemplo resolvido

Amara escreve no rascunho, em inglês, a frase It is probable the phishing wave will reach HCHT this week ("é provável que a onda de phishing chegue ao HCHT nesta semana"). O script marca probable como fora da escala. Ela reescreve: "É provável (55–80%) que funcionários do HCHT recebam e-mails desta onda nesta semana; confiança moderada, com base em relatórios do HSSC de três instituições próximas."

Caso sintético. O rascunho e os relatórios são inventados.

Erros e limites

Escalas reduzem a ambiguidade, mas não tornam os julgamentos corretos. Acompanhe os desfechos para conferir a calibração ao longo do tempo.

Exercícios

• EX034 — Inconsistência no laboratório. Que alegação estava inconsistente no laboratório, e por quê?
  Mostrar critérios de avaliação

  Rubrica: 3 = C2: very likely com 60%, escala de 80–95%; 2 = só C2; 1 = C4; 0 = nenhuma.
• EX035 — Armadilha da taxa-base. Explique por que um filtro que marca 1% dos e-mails pode produzir sobretudo alarmes falsos.
  Mostrar critérios de avaliação

  Rubrica: 3 = taxa-base de maliciosos muito abaixo de 1%; a maioria das marcações é benigna; 2 = parcial; 1 = o filtro está quebrado; 0 = nenhuma.
• EX036 — Duas dimensões. Distinga probabilidade de confiança.
  Mostrar critérios de avaliação

  Rubrica: 3 = probabilidade do evento vs qualidade da evidência/raciocínio; 2 = parcial; 1 = são a mesma coisa; 0 = nenhuma.

Síntese

Use uma escala comum, confira as taxas-base, evite a falsa precisão e declare tanto a probabilidade quanto a confiança.

Continue estudando — capítulo 12 de 40

← Capítulo 11 (rascunho) · Índice de capítulos do curso · Capítulo 13 (rascunho) →