Capítulo 33 — Métodos de pesquisa II | Graduação Segurança de OT, IoT e sistemas ciberfísicos

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 33 publicada. Mapa, exemplo, EX097.

flowchart TD
  N0["33.1 Pré-registro"]
  N1["33.2 Tamanho de amostra para uma proporção"]
  N2["33.3 Tamanhos de efeito"]
  N3["33.4 Pacote de replicação"]
  N4["33.5 Resultados negativos"]
  N5["33.6 Controle de versão como caderno de laboratório"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX097"]

Desenho lógico

flowchart LR
  N0["33.1 Pré-registro"]
  N1["33.2 Tamanho de amostra para uma proporção"]
  N2["33.3 Tamanhos de efeito"]
  N3["33.4 Pacote de replicação"]
  N4["33.5 Resultados negativos"]
  N5["33.6 Controle de versão como caderno de laboratório"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX097"]

[33.1 Pré-registro]
    |
    v
[33.2 Tamanho de amostra para uma proporção]
    |
    v
[33.3 Tamanhos de efeito]
    |
    v
[33.4 Pacote de replicação]
    |
    v
[33.5 Resultados negativos]
    |
    v
[33.6 Controle de versão como caderno de laboratório]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX097]

Objetivos de aprendizagem

Você vai (1) projetar um estudo de simulação replicável com hipóteses pré-registradas; (2) escolher tamanhos de amostra para estimativas de proporções; (3) relatar tamanhos de efeito e intervalos, e não apenas significância; e (4) escrever uma seção de ameaças à validade que um revisor aceite.

33.1 Pré-registro

Escrever as hipóteses, as medidas, a análise e as regras de parada antes de rodar o experimento impede que a análise seja ajustada ao resultado. Para um estudo de detectores: "H1: a proporção de alarmes falsos do CUSUM em 300 execuções tranquilas será menor que a da faixa; medida primária: execuções com qualquer alarme falso; análise: diferença de proporções com intervalo de 95 %."

No projeto final de Maya, a regra de parada é o número fixo de sementes: 300 execuções calmas e 300 de ataque, sem execuções extras se o primeiro resultado parecer fraco. Fixar a medida, execuções com qualquer alarme falso, também impede que ela troque depois para outra medida que por acaso favoreça o CUSUM.

33.2 Tamanho de amostra para uma proporção

Para estimar uma proporção próxima de p com margem de erro E a 95 %, n ≈ 1,96² p(1−p)/E². Para p = 0,2 e E = 0,05, n ≈ 246. Para afirmar uma taxa abaixo de 1 % quando nenhum evento é observado, a regra de três precisa de n ≈ 300. As 300 sementes tranquilas de Maya decorrem da segunda fórmula: com 0 alarmes falsos em 300 execuções, o limite superior fica em cerca de 1 %, que é a afirmação que ela quer poder fazer. Quarenta execuções, como no Capítulo 25, só sustentariam cerca de 8,8 %. As suas 300 sementes de ataque por inclinação vêm da primeira fórmula, dimensionadas para que uma proporção de detecção próxima de 0,8 tenha uma margem de cerca de 5 pontos.

33.3 Tamanhos de efeito

"p < 0,05" diz pouco sobre o tamanho. Relate a diferença: faixa 22,5 % vs CUSUM 0 % de execuções com alarme falso, diferença de 22,5 pontos (intervalo calculado). Os leitores podem então decidir se ela importa operacionalmente. Nos números do Capítulo 25, a faixa gerou alarmes falsos em 9 de 40 execuções tranquilas, e o CUSUM, em 0 de 40. A diferença, 22,5 pontos, importa para os operadores porque significa um alarme incômodo mais ou menos em uma execução a cada quatro, em vez de nenhum observado. Um valor-p diria apenas que a diferença dificilmente é acaso, que é o fato menos interessante sobre ela. Um operador que decide se aceita o CUSUM na HMI-1 precisa do tamanho e dos limites de cada lado.

33.4 Pacote de replicação

Publique o código, as sementes, os parâmetros, a versão do Python e o comando exato. Neste livro, os laboratórios embutem a sua saída verificada para que o leitor possa conferir se uma nova execução coincide. O pacote de replicação de Maya para o estudo de detectores contém lab_detect.py, as faixas de sementes (0–39 tranquilas e 1000–1039 com ataque para a execução do Capítulo 25; 0–299 e 1000–1299 previstas para o trabalho de conclusão), os valores de limiar e de folga, a versão do Python e a linha de comando. Quem o rodar de novo deve obter exatamente 9/40 e 0/40 execuções com alarme falso; uma contagem diferente significa que algo no pacote está errado, e não que o resultado é incerto.

Exemplo resolvido (LDHP sintética)

O pré-registro do trabalho de conclusão de Maya fixa: 300 sementes tranquilas e 300 com ataque, três inclinações de ataque, limiar escolhido num conjunto de ajuste separado de 50 sementes e depois congelado. Resultado primário: execuções com qualquer alarme falso, a medida fixada na H1; a detecção em até 60 amostras é um resultado secundário. Ela também declara que resultado falsearia a H1.

Caso sintético — Lakeside District Heating Plant. O plano é para um estudo simulado.

33.5 Resultados negativos

Se o CUSUM não superar a faixa no limiar congelado, isso é um achado publicável numa monografia de bacharelado, desde que o método tenha sido sólido. Relate-o com os mesmos intervalos que você teria usado para um resultado positivo e discuta qual suposição — modelo de ruído, inclinação do ataque ou escolha do limiar — mais provavelmente o explica. Esconder um resultado negativo e rodar de novo com novas configurações até que algo "funcione" é a prática que o pré-registro existe para impedir. O limiar congelado de Maya é o que torna esse resultado crível.

33.6 Controle de versão como caderno de laboratório

Faça o commit do arquivo de pré-registro antes da primeira execução experimental e faça o commit dos resultados com o comando exato que os produziu. O histórico de commits mostra então a ordem das decisões, que é o que um examinador confere quando um resultado parece surpreendentemente limpo. Para Maya, o primeiro commit guarda o pré-registro, com o desenho de 300 sementes e a regra do limiar congelado; o commit de ajuste, nas 50 sementes separadas, vem em seguida; o commit de avaliação, depois dele, registra o comando e as saídas. Um examinador consegue então confirmar que o limiar existia antes de qualquer semente de avaliação ser rodada.

Erros e limites

Estudos de simulação são fáceis de replicar, mas podem não se transferir para plantas. Comparações múltiplas inflam as falsas descobertas; ajuste-as ou declare de antemão um resultado primário.

Exercícios

EX097 — Tamanho de amostra para 10 % ± 3 %. Calcule n para estimar uma proporção próxima de 0,10 com ±0,03 a 95 %.
Mostrar critérios de avaliação
Rubrica: 3 ≈ 385; 2 = método; 1 = usa E = 3; 0 = nada.
EX098 — Por que congelar os limiares? Explique por que o limiar é ajustado em sementes separadas.
Mostrar critérios de avaliação
Rubrica: 3 = evita sobreajuste aos dados de avaliação; estimativa não enviesada; 2 = parcial; 1 = vago; 0 = nada.
EX099 — Um resultado que falseia. Enuncie o resultado que falsearia a H1.
Mostrar critérios de avaliação
Rubrica: 3 = proporção de alarmes falsos do CUSUM ≥ à da faixa (o intervalo inclui ou passa da diferença zero); 2 = parcial; 1 = "se o CUSUM falhar"; 0 = nada.

Síntese

O rigor na pesquisa aplicada em TO vem do pré-registro, de amostras adequadas, de tamanhos de efeito com intervalos e de pacotes de replicação completos.