Capítulo 12 — Probabilidade e estatística | Graduação Segurança de OT, IoT e sistemas ciberfísicos

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 12 publicada. Mapa, exemplo, EX034.

flowchart TD
  N0["12.1 Zero não é zero"]
  N1["12.2 Intervalos de Wilson"]
  N2["12.3 Lendo os números"]
  N3["12.4 Taxas-base"]
  N4["12.5 Enquadramento por turno para os operadores"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX034"]

Desenho lógico

flowchart LR
  N0["12.1 Zero não é zero"]
  N1["12.2 Intervalos de Wilson"]
  N2["12.3 Lendo os números"]
  N3["12.4 Taxas-base"]
  N4["12.5 Enquadramento por turno para os operadores"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX034"]

[12.1 Zero não é zero]
    |
    v
[12.2 Intervalos de Wilson]
    |
    v
[12.3 Lendo os números]
    |
    v
[12.4 Taxas-base]
    |
    v
[12.5 Enquadramento por turno para os operadores]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX034]

Objetivos de aprendizagem

Você vai (1) estimar uma taxa de alarmes falsos com um limite de confiança; (2) usar a regra de três para zero eventos observados; (3) comparar intervalos de Wilson com estimativas pontuais ingênuas; e (4) evitar a falácia da taxa-base ao avaliar alertas.

12.1 Zero não é zero

Um detector que não gerou nenhum alarme falso em 40 dias tranquilos tem estimativa pontual 0, mas a afirmação honesta é um limite. A regra de três dá um limite superior aproximado de 95 % de 3/n quando zero eventos são vistos em n tentativas independentes; com n = 40, isso dá 7,5 %. Essa é a afirmação que o engenheiro de controle faz no exemplo resolvido deste capítulo: um novo detector de temperatura de ida que "nunca dá alarme falso". A primeira pergunta de Maya foi o denominador, 40 dias, e a resposta dela foi o limite: 0 em 40 é compatível com uma taxa diária real de alarmes falsos de até vários por cento.

12.2 Intervalos de Wilson

O intervalo de escore de Wilson se comporta bem com contagens pequenas e com proporções próximas de 0 ou de 1, ao contrário da aproximação normal dos livros-texto, que pode produzir limites inferiores negativos.

"""Lab 12: false-alarm estimates and rule-of-three bounds (synthetic counts)."""
import math
def wilson_upper(k, n, z=1.96):
    p = k / n; d = 1 + z*z/n
    return (p + z*z/(2*n) + z*math.sqrt(p*(1-p)/n + z*z/(4*n*n))) / d
for k, n in [(0, 40), (0, 300), (3, 300)]:
    r3 = 3 / n if k == 0 else float("nan")
    print(f"k={k:2} n={n:3} point={k/n:.4f} wilson95_upper={wilson_upper(k,n):.4f} rule_of_three={r3:.4f}")

Execute com python3 lab_rule3.py. Saída verificada:

k= 0 n= 40 point=0.0000 wilson95_upper=0.0876 rule_of_three=0.0750
k= 0 n=300 point=0.0000 wilson95_upper=0.0126 rule_of_three=0.0100
k= 3 n=300 point=0.0100 wilson95_upper=0.0290 rule_of_three=nan

Para o detector da LDHP, o intervalo dos livros-texto para 0 alarmes falsos em 40 dias colapsa para de 0 % a 0 %, o que declara uma certeza que os dados não sustentam. O de Wilson dá de 0 % a 8,8 % para a mesma contagem, e esse limite superior é o que Maya escreveu na sua nota: "0 alarmes falsos em 40 dias; limite superior de 95 % ≈ 8,8 % por dia". O mesmo método volta a aparecer no Capítulo 25, para as 0 de 40 execuções com alarme falso do CUSUM.

12.3 Lendo os números

Para 0/40, o limite superior de Wilson (8,76 %) fica um pouco acima da regra de três (7,5 %); para 0/300, os dois encolhem para cerca de 1 %. Três alarmes falsos em 300 dão uma estimativa pontual de 1 %, mas um limite superior próximo de 2,9 %. Coletar mais dias tranquilos é a única forma de estreitar o intervalo. Maya usou a segunda linha para responder ao engenheiro de controle: seriam necessários cerca de 300 dias tranquilos para afirmar uma taxa de alarmes falsos abaixo de aproximadamente 1 %. A um dia por dia de operação, isso é a maior parte de um ano, e é por isso que estudos de simulação como o do Capítulo 25 usam muitas execuções com sementes fixas.

12.4 Taxas-base

Suponha que ataques reais ocorram em 1 dia a cada 1.000 e que um detector pegue 90 % deles, gerando um alarme falso em 2 % dos dias tranquilos. Em 1.000 dias, ele sinaliza cerca de 0,9 dia verdadeiro e 19,98 falsos — então cerca de 4 % dos alertas são reais. Operadores que aprendem que a maioria dos alertas é ruído começam a ignorá-los, e é por isso que a prática de gestão de alarmes trata as taxas de alarmes incômodos como uma questão de segurança física. Para a sala de controle da LDHP, onde um turno da noite vê três ou quatro alarmes de processo genuínos, um detector que produzisse cerca de 20 alarmes falsos para cada real seria desligado em uma semana.

Exemplo resolvido (LDHP sintética)

O engenheiro de controle diz que um novo detector de temperatura de ida "nunca dá alarme falso". Maya pede o denominador: 40 dias. Ela escreve: "0 alarmes falsos em 40 dias; limite superior de 95 % ≈ 8,8 % por dia (Wilson); seriam necessários cerca de 300 dias tranquilos para afirmar menos de aproximadamente 1 %."

Caso sintético — Lakeside District Heating Plant. As contagens são inventadas; os métodos são padrão.

12.5 Enquadramento por turno para os operadores

Os operadores pensam em turnos, não em proporções. Uma taxa de alarmes falsos de 2 % por dia num detector parece pequena, mas quarenta detectores assim produzem quase um alarme incômodo por dia. Converta as taxas em "alarmes esperados por turno" antes de pedir a uma sala de controle que aceite um novo detector. Na LDHP, com dois turnos de doze horas por dia, um único detector a 2 % por dia produz um alarme incômodo mais ou menos uma vez a cada 100 turnos, o que os operadores toleram. Quarenta detectores a essa taxa produzem cerca de 0,8 por dia, ou aproximadamente um a cada dois ou três turnos. O detector de faixa do Capítulo 25, que deu alarme falso em 9 de 40 execuções tranquilas, seria muito pior nessa escala.

Erros e limites

Os limites supõem tentativas independentes; dias consecutivos no mesmo regime de clima são correlacionados, então a incerteza real é maior.

Exercícios

EX034 — Limite superior para zero em 150. Aplique a regra de três a 0 alarmes falsos em 150 dias.
Mostrar critérios de avaliação
Rubrica: 3 = 2 % com "limite superior aproximado de 95 %"; 2 = só o número; 1 = diz 0 %; 0 = nada.
EX035 — Precisão dos alertas com taxa-base baixa. Com uma taxa de 1 dia de ataque em 500, 95 % de detecção e 1 % de alarmes falsos, que fração dos alertas é real?
Mostrar critérios de avaliação
Rubrica: 3 ≈ 16 % com o cálculo; 2 = método certo, deslize aritmético; 1 = responde 95 %; 0 = nada.
EX036 — Tentativas correlacionadas. Por que 40 dias consecutivos de inverno superestimam a informação contida em "0/40"?
Mostrar critérios de avaliação
Rubrica: 3 = os dias compartilham condições e, portanto, não são independentes; n efetivo menor; 2 = parcial; 1 = vago; 0 = nada.

Síntese

Publique sempre as afirmações de detecção com uma contagem, um denominador e um limite; e julgue os alertas por quantas vezes acertam, e não só por quantos ataques pegam.