Capítulo 5 — Estudo principal e validação independente
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Desenho pareado"]
N1["5.2 Três tipos de incerteza"]
N2["5.3 Validação independente na Bancada de testes T2"]
N3["5.4 A revisão cega por operadores"]
N4["5.5 Escrevendo resultados mistos com honestidade"]
N5["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Desenho pareado"]
N1["5.2 Três tipos de incerteza"]
N2["5.3 Validação independente na Bancada de testes T2"]
N3["5.4 A revisão cega por operadores"]
N4["5.5 Escrevendo resultados mistos com honestidade"]
N5["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX027"]
[5.1 Desenho pareado]
|
v
[5.2 Três tipos de incerteza]
|
v
[5.3 Validação independente na Bancada de testes T2]
|
v
[5.4 A revisão cega por operadores]
|
v
[5.5 Escrevendo resultados mistos com honestidade]
|
v
[Síntese do capítulo]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem e conexão
Ao final deste capítulo, você será capaz de (1) desenhar um experimento pareado com números aleatórios comuns, (2) relatar uma incerteza que separe o ruído da simulação da incerteza do modelo, (3) validar num segundo contexto independente, (4) incorporar uma revisão cega por operadores e (5) escrever um parágrafo de resultados honesto, incluindo resultados mistos. Ele executa o plano pilotado no Capítulo 4 e produz as alegações que o Capítulo 6 vai atacar.
5.1 Desenho pareado
Ao comparar duas configurações de um detector, execute ambas nas mesmas sementes aleatórias (números aleatórios comuns, uma técnica padrão de simulação). A diferença por semente remove o ruído compartilhado e estreita os intervalos de confiança. O Laboratório 5 compara k = 0,8 com k = 0,6 em duas variantes de planta: a Plant A, com um ganho de entrada do ataque de 0,05, e a Plant B, um tanque maior em que a mesma manipulação da bomba produz apenas 0,02 unidade por passo.
# Lab 5 (synthetic): paired comparison of detection delay on two plant models with common random numbers + bootstrap CI.
import random
def delay(seed, k, gain):
rng = random.Random(seed); true, est, s = 50.0, 50.0, 0.0
for t in range(700):
inflow = 1.0 + rng.gauss(0, 0.05) + (gain if t >= 300 else 0.0)
true += inflow - 0.02*true
lvl = 50.0 + rng.gauss(0, 0.3) if t >= 300 else true + rng.gauss(0, 0.3)
est += inflow + rng.gauss(0, 0.02) - 0.02*est
s = max(0.0, s + abs(lvl - est) - k)
if s > 6.0 and t >= 300: return t - 300
return 400
for plant, gain in (("A", 0.05), ("B", 0.02)):
diffs = [delay(i, 0.8, gain) - delay(i, 0.6, gain) for i in range(200)]
rng = random.Random(7); boots = sorted(sum(rng.choice(diffs) for _ in diffs)/len(diffs) for _ in range(2000))
print(f"plant {plant}: mean delay(k=0.8)-delay(k=0.6)={sum(diffs)/len(diffs):.1f} steps, 95% CI [{boots[50]:.1f}, {boots[1949]:.1f}]")
Saída esperada:
plant A: mean delay(k=0.8)-delay(k=0.6)=6.9 steps, 95% CI [6.5, 7.4]
plant B: mean delay(k=0.8)-delay(k=0.6)=45.4 steps, 95% CI [38.4, 53.0]
A robustez escolhida no Capítulo 4 custa cerca de 7 passos na Plant A, mas cerca de 45 passos na Plant B, onde o sinal do ataque é mais fraco. As execuções não detectadas são limitadas a 400 passos (censura à direita); a média da Plant B é, portanto, um limite inferior do custo real. O intervalo bootstrap descreve apenas o ruído da simulação — ele não diz nada sobre se o modelo de tanque representa alguma planta real.
5.2 Três tipos de incerteza
Separe a incerteza estocástica (variação de semente para semente, captada pelo intervalo), a incerteza paramétrica (coeficiente do orifício, níveis de ruído, viés de calibração — exploradas pela análise de sensibilidade, como no Laboratório 6) e a incerteza estrutural (um balanço de massa de um único tanque é, afinal, o modelo certo?). Só a segunda bancada de testes trata da terceira.
No Setpoint Study, o intervalo do Laboratório 5 cobre apenas o primeiro tipo. O Laboratório 6 cobre parte do segundo, por meio do viés de calibração e da folga. A Bancada de testes T2 é a primeira evidência sobre o terceiro, e a sua revocação menor mostra que o medidor de vazão honesto e sem atraso do modelo era simples demais. Relate cada tipo no seu próprio lugar, para que os leitores não confundam um com o outro.
5.3 Validação independente na Bancada de testes T2
A T2 difere do modelo da Plant A em aspectos que importam: dois tanques acoplados, um medidor de vazão diferente com o seu próprio atraso e um ciclo de varredura do CLP de 100 ms. Os limiares são congelados a partir do ajuste da Plant A antes de qualquer dado da T2 ser examinado — caso contrário, a validação seria só mais um exercício de ajuste. Resultados sintéticos da T2: replay da classe A detectado em 18 de 20 episódios (dois perdidos porque o atraso do medidor de vazão escondeu manipulações pequenas), atraso mediano maior do que na simulação, zero alarmes falsos em 40 horas nominais e evasão da classe B confirmada em todos os 10 ensaios. O estudo apoia, assim, H1 com uma ressalva (revocação menor com um instrumento com atraso) e confirma H4.
5.4 A revisão cega por operadores
Dez operadores sintéticos (O01–O10) revisaram linhas do tempo de alarmes sem saber qual detector as produzira. Oito preferiram o alarme do CUSUM porque ele chegava com uma tendência do resíduo que conseguiam interpretar; dois acharam o "resíduo" abstrato e queriam ver o nível previsto na IHM. A constatação é sobre a interpretabilidade, não sobre a acurácia da detecção, e ela muda o desenho: a tese recomenda exibir o nível previsto ao lado do nível relatado.
Dez participantes não podem apoiar uma alegação estatística sobre populações de operadores, e o estudo não faz nenhuma. A revisão mostra que a interpretabilidade é uma questão de projeto que merece ser medida mais tarde com equipes reais de salas de controle, com consentimento. Registre o protocolo, o método de cegamento e a razão declarada por cada operador, para que a recomendação possa ser rastreada até o que foi dito, e não até uma contagem.
5.5 Escrevendo resultados mistos com honestidade
"No modelo sintético da Plant A e na Bancada de testes T2 sintética, um CUSUM de resíduo de balanço de massa detectou ataques de replay de sensor da classe A que um alarme de faixa de ±1,5 deixou passar, sem nenhuma execução com alarme falso em operação nominal. A revocação caiu de 100% na simulação para 90% na T2 por causa do atraso do medidor de vazão. A robustez a um viés de calibração de 0,4 unidade exigiu uma folga maior, o que alongou o atraso de detecção em cerca de 7 passos na Plant A e em pelo menos 45 na Plant B, de sinal mais fraco. Quando o atacante também controlava o medidor de vazão (classe B), a detecção falhou em todos os ensaios, como previsto."
5.6 Erros comuns e limites
Sementes independentes em comparações pareadas; ajuste na bancada de validação; esconder as execuções censuradas; apresentar os intervalos como incerteza do mundo real; omitir a condição de falha do resumo.
Cada item tem uma verificação concreta neste estudo: o Laboratório 5 usa números aleatórios comuns, os limiares da T2 são congelados a partir do ajuste da Plant A, as execuções limitadas são relatadas como censuradas em 400 passos, o intervalo bootstrap é rotulado como ruído da simulação e o resumo declara que a classe B escapou da detecção em todos os ensaios. Um revisor deve conseguir confirmar cada verificação a partir do arquivo.
Exercícios — capítulo 5
- EX027 — Sementes independentes versus pareadas. Execute de novo o Laboratório 5 com sementes independentes para as duas configurações e compare a largura dos intervalos com a da versão pareada. Rubrica: 3 = largura não pareada na Plant A≈3,2 vs pareada≈0,9 e a comparação na Plant B; 2 = só a direção; 1 = direção errada; 0 = nenhum.
- EX028 — Seis fontes de incerteza classificadas. Classifique seis fontes de incerteza do Setpoint Study como estocásticas, paramétricas ou estruturais. Rubrica: 3 = estocástica/paramétrica/estrutural com dois exemplos por classe; 2 = classes sem exemplos; 1 = uma classe; 0 = nenhum.
- EX029 — Regra de congelamento antes da validação na T2. Escreva a regra de congelamento dos limiares antes da validação na T2 e explique o que invalidaria a validação. Rubrica: 3 = congelar k=0,8 h=6 com hash antes da carga na T2 + o que invalida; 2 = congelamento sem invalidação; 1 = vago; 0 = nenhum.
- EX030 — Censura à direita na Plant B. Explique como a censura à direita enviesa a média da Plant B e proponha um resumo melhor. Rubrica: 3 = média como limite inferior + relatar a proporção de detecção/mediana entre os detectados ou estilo KM; 2 = viés sem resumo melhor; 1 = vago; 0 = nenhum.
- EX031 — Revisão dos operadores no desenho e no limite. Transforme a constatação da revisão por operadores numa recomendação de projeto e numa limitação. Rubrica: 3 = mostrar previsto vs relatado na IHM + limite dos operadores sintéticos; 2 = um dos dois; 1 = vago; 0 = nenhum.
- EX032 — Parágrafo de resultados quando H1 falha na T2. Escreva um parágrafo de resultados de 120 palavras para um estudo em que H1 falhou na T2. Rubrica: 3 = ~120 palavras com T2 9/20 vs simulação 100/100 e a explicação por atraso/folga; 2 = números sem o atraso; 1 = nota curta de falha; 0 = nenhum.
Síntese do capítulo
Os desenhos pareados tornam as comparações mais nítidas; a incerteza tem três tipos e os intervalos captam apenas um; validar significa limiares congelados num contexto independente; e um parágrafo de resultados honesto carrega as suas ressalvas e a sua condição de falha.
Continue estudando — capítulo 05 de 08
← Capítulo 04 · Índice de capítulos do curso · Capítulo 06 →
Siga para a próxima lição escrita.