Capítulo 42 — Infraestrutura crítica e segurança setorial: pesquisa aplicada | Engenharia Segurança de infraestrutura crítica e setores

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 42 publicada. Mapa, exemplo, EX083.

flowchart TD
  N0["42.1 Pesquisa de engenharia versus pesquisa acadêmic"]
  N1["42.2 Projetando um pequeno estudo"]
  N2["42.3 Conjuntos de dados e testbeds públicos"]
  N3["42.4 Ética e autorização"]
  N4["42.6 Atividade prática"]
  N5["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX083"]

Desenho lógico

flowchart LR
  N0["42.1 Pesquisa de engenharia versus pesquisa acadêmic"]
  N1["42.2 Projetando um pequeno estudo"]
  N2["42.3 Conjuntos de dados e testbeds públicos"]
  N3["42.4 Ética e autorização"]
  N4["42.6 Atividade prática"]
  N5["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX083"]

[42.1 Pesquisa de engenharia versus pesquisa acadêmic]
    |
    v
[42.2 Projetando um pequeno estudo]
    |
    v
[42.3 Conjuntos de dados e testbeds públicos]
    |
    v
[42.4 Ética e autorização]
    |
    v
[42.6 Atividade prática]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX083]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo você será capaz de (1) formular uma pergunta de engenharia que exige novas evidências; (2) projetar um pequeno estudo aplicado — experimento em testbed, estudo de simulação ou medição em campo — com controles e reprodutibilidade; (3) usar conjuntos de dados e testbeds públicos de forma responsável; e (4) relatar os resultados com seus limites. Ele é a contrapartida, na engenharia, dos livros de pesquisa de mestrado e doutorado e prepara o projeto final e o trabalho de conclusão (capítulos 44 a 49).

42.1 Pesquisa de engenharia versus pesquisa acadêmica

A pesquisa aplicada deste curso responde a uma pergunta de projeto para um sistema específico, com evidências boas o bastante para uma decisão de engenharia. Ela difere do livro de mestrado, que ensina a projetar e defender um único estudo empírico com revisão ética, e do livro de doutorado, que pede uma contribuição original ao conhecimento, validada de forma independente. Um estudo de engenharia tem sucesso se muda ou confirma uma decisão de projeto com evidências que um revisor consiga conferir.

42.2 Projetando um pequeno estudo

Declare a pergunta e a decisão que ela informa; defina a medição (Capítulo 29); escolha um desenho — comparação de alternativas num testbed, varredura de parâmetros em simulação ou medição de um sistema existente; fixe a análise antes da execução; controle os fatores de confusão (mesma carga, mesmo hardware, mesmas sementes); repita as execuções para medir a variabilidade; e registre tudo para permitir a reprodução (Sandve et al., 2013). O estudo do detector do TMRP segue esse padrão, com sua regra de análise fixada antes de qualquer execução. Suas sementes são registradas.

42.3 Conjuntos de dados e testbeds públicos

Conjuntos de dados e testbeds públicos de segurança industrial permitem experimentos sem tocar na infraestrutura real. O conjunto de dados do testbed Secure Water Treatment (SWaT), descrito por Goh et al. (2017), e a competição BATADAL sobre redes de distribuição de água, relatada por Taormina et al. (2018), são amplamente usados. Conheça seus limites: os testbeds são menores e mais limpos do que as plantas reais, os conjuntos de ataques são escolhidos pelos pesquisadores, e o desempenho em benchmarks não se transfere automaticamente. Leia sobre as armadilhas de avaliação antes de alegar resultados (Arp et al., 2022; Sommer and Paxson, 2010).

42.4 Ética e autorização

A pesquisa aplicada em sistemas reais exige a autorização por escrito do proprietário e, quando há pessoas ou dados pessoais envolvidos, revisão ética (Capítulo 10). Resultados que revelam fraquezas de sistemas específicos vão para o proprietário, e não para uma conferência. Para o TMRP, o estudo do detector usa simulação e os dados do próprio historiador da LRWA, sob a autoridade do programa. Qualquer constatação sobre o produto de um fornecedor iria para esse fornecedor, de forma privada, antes que qualquer coisa fosse escrita para um público mais amplo, e nenhuma estação real é usada como objeto experimental.

42.5 Exemplo resolvido: vale a pena implantar o detector cumulativo? (sintético)

Pergunta: o TMRP deve implantar em Hollin Hill o detector cumulativo de balanço de massa do Capítulo 17? Decisão informada: implantar, com qual limiar e qual intervalo de recalibração. Desenho do estudo: varredura em simulação sobre os níveis de ruído (0,005–0,02 m), a deriva dos medidores de vazão (0–1%) e os limiares (0,02–0,08 m), 100 execuções com semente por célula, medindo os alarmes falsos por mês e o tempo de detecção para ataques em rampa de 0,01–0,1 m/h. Análise fixada com antecedência: escolher o limiar com menos de um alarme falso por mês no nível de ruído medido e relatar o tempo de detecção nesse limiar. Validação: comparar o ruído simulado com duas semanas de dados do historiador. Limites: modelo de tanque com mistura perfeita; um atacante que controle os medidores de vazão está fora do escopo.

42.6 Atividade prática

Implemente uma versão reduzida da §42.5 usando o Laboratório 7: três limiares × três níveis de ruído × 20 sementes; relate os alarmes falsos e os tempos de detecção da rampa numa tabela com a variabilidade. Fixe sua regra de análise antes da execução: por exemplo, escolha o menor limiar sem alarmes falsos nas execuções sem ataque em cada nível de ruído. Defina a semente de cada execução e registre as sementes. Relate o número de alarmes falsos e o tempo de detecção da rampa para cada célula, com sua dispersão entre as sementes, e não apenas a média. Depois declare um limite do estudo reduzido, como medidores de vazão perfeitos, e a direção em que ele enviesa seus resultados.

42.7 Erros comuns e limites

Estudos sem uma decisão que informem.
Análise escolhida depois de ver os resultados.
Execuções únicas relatadas como resultados.
Desempenho em benchmarks alegado como transferível para plantas reais.
Fraquezas de sistemas reais publicadas sem coordenação.

O estudo do detector cumulativo no exemplo resolvido evita cada um desses erros: ele informa uma decisão de implantação, fixa sua regra de análise com antecedência, usa cem execuções por célula, valida seu modelo de ruído contra duas semanas de dados do historiador da LRWA e declara que um atacante que controle os medidores de vazão está fora do escopo.

Exercícios — capítulo 42

EX083 — Protocolo do estudo. Objetivo: escrever um protocolo pré-especificado. Entradas: §42.5. Passos: escreva um protocolo de uma página: pergunta, decisão, desenho, medições, regra de análise, validação, limites. Evidência esperada: protocolo. Rubrica: 3 = completo, regra de análise fixada com antecedência, validação contra dados reais de ruído, limites honestos; 2 = análise vaga; 1 = sem decisão; 0 = nada.

EX084 — Limites dos conjuntos de dados. Objetivo: avaliar a transferência a partir de um testbed. Entradas: um fornecedor alega 99% de detecção num conjunto de dados público de um testbed de água. Passos: liste cinco perguntas que você faria antes de aceitar isso para a LRWA. Evidência esperada: lista. Rubrica: 3 = taxa-base e taxa de alarmes falsos em operação, realismo do conjunto de ataques, protocolo de avaliação (ajuste de pontos, vazamento de dados), escala/diferença da planta, adaptação a adversários; 2 = três boas perguntas; 1 = genérico; 0 = nada.

Síntese do capítulo

A pesquisa de engenharia responde a uma pergunta de projeto com evidências conferíveis. Pré-especifique o estudo, controle os fatores de confusão, repita as execuções, use os testbeds públicos dentro de seus limites, obtenha autorização para qualquer coisa real e relate os resultados com suas fronteiras.