Capítulo 18 — Métodos de pesquisa I

Mapa da aula

Aula 18 publicada. Mapa, exemplo, EX052.

flowchart TD
  N0["18.1 Da preocupação à pergunta"]
  N1["18.2 Escolhas de desenho"]
  N2["18.3 Validade"]
  N3["18.4 Lendo a literatura"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX052"]

Desenho lógico

flowchart LR
  N0["18.1 Da preocupação à pergunta"]
  N1["18.2 Escolhas de desenho"]
  N2["18.3 Validade"]
  N3["18.4 Lendo a literatura"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX052"]

[18.1 Da preocupação à pergunta]
    |
    v
[18.2 Escolhas de desenho]
    |
    v
[18.3 Validade]
    |
    v
[18.4 Lendo a literatura]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX052]

Objetivos de aprendizagem

Você vai (1) transformar uma preocupação vaga numa pergunta pesquisável; (2) escolher entre desenhos descritivos, comparativos e experimentais; (3) definir variáveis, medidas e ameaças à validade; e (4) buscar e avaliar literatura revisada por pares sobre segurança de TO.

18.1 Da preocupação à pergunta

"Os nossos detectores são bons?" não é uma pergunta que você consiga responder. "Nos dados sintéticos de temperatura de ida da LDHP, um detector CUSUM alcança uma taxa de alarmes falsos menor que uma faixa fixa, com a mesma taxa de detecção, para rampas lentas?" é. Ela nomeia a população (dados sintéticos), a comparação, as medidas de resultado e a classe de ataque. A versão de Maya dessa pergunta virou o seu plano de pesquisa: CUSUM contra uma faixa fixa em dados simulados de temperatura de ida, 40 sementes por condição, com alarmes falsos por execução, detecção em até 100 amostras e atraso médio como medidas, e a rampa lenta de 0,08 °C por amostra como classe de ataque.

18.2 Escolhas de desenho

Estudos descritivos caracterizam o que existe (inventário dos protocolos numa rede). Estudos comparativos contrastam grupos ou métodos sem controlar a alocação. Experimentos manipulam uma variável — o tipo de detector — mantendo as outras fixas, em TO tipicamente por simulação, porque experimentar em plantas em operação é inseguro. O estudo de detectores de Maya é um experimento nesse sentido: o tipo de detector é a variável manipulada, e o nível de ruído, a inclinação do ataque e as sementes são mantidos fixos entre as condições. Rodá-lo no próprio PLC-H significaria fazer derivar de propósito a temperatura de ida de uma rede de aquecimento distrital em operação, o que nenhuma permissão de trabalho autorizaria.

18.3 Validade

A validade interna pergunta se a diferença medida é causada pela variável manipulada; a validade externa pergunta se os resultados se generalizam para além da planta sintética. A validade de construto pergunta se "taxa de alarmes falsos por execução" mede de fato a carga sobre os operadores. Nomeie cada ameaça e o que você fez a respeito. Maya nomeou duas ameaças no seu plano: o ruído é gaussiano, o que os sensores reais de temperatura de ida podem não ser (validade externa), e ela ajustou os limiares à mão (validade interna). O seu trabalho de conclusão trata depois da segunda, ajustando num conjunto separado de 50 sementes e congelando o limiar.

18.4 Lendo a literatura

Giraldo et al. (2018, ACM Computing Surveys, doi:10.1145/3203245) revisam a detecção de ataques baseada em física em sistemas ciberfísicos e destacam que muitos artigos avaliam detectores sem um modelo de adversário consistente. Urbina et al. (CCS 2016, doi:10.1145/2976749.2978388) propõem avaliar detectores pelo impacto que um atacante furtivo ainda consegue causar sem ser detectado, e não apenas pela taxa de detecção. Esses dois artigos enquadram o laboratório de detectores do Capítulo 25. Para o estudo de Maya, a pergunta de Urbina et al. vira: quão lenta pode ser uma rampa para ficar abaixo do limiar do CUSUM, e quanto a temperatura de ida poderia derivar antes de ele alarmar? É por isso que, mais adiante, ela reduz a inclinação pela metade.

Exemplo resolvido (LDHP sintética)

Maya redige: Pergunta — a comparação entre CUSUM e faixa acima. Desenho — experimento de simulação, 40 sementes por condição. Medidas — alarmes falsos por execução, detecção em até 100 amostras, atraso médio. Ameaças — o ruído sintético é gaussiano (validade externa); limiares ajustados à mão (validade interna).

Caso sintético — Lakeside District Heating Plant. O plano de pesquisa é um exercício didático que usa apenas dados simulados.

Erros e limites

Buscar apenas white papers de fornecedores rende marketing, não evidência. Não cite um artigo que você não abriu; verifique se os DOIs resolvem.

Exercícios

• EX052 — Afiando uma pergunta vaga. Reescreva "A rede de medidores IoT é segura?" como uma pergunta pesquisável.
  Mostrar critérios de avaliação

  Rubrica: 3 = população, medida e comparação declaradas; 2 = duas; 1 = continua vaga; 0 = nada.
• EX053 — Nomeando uma ameaça à validade. Identifique uma ameaça à validade externa no desenho de Maya e uma mitigação.
  Mostrar critérios de avaliação

  Rubrica: 3 = ruído gaussiano/planta única; acrescentar perfis de ruído reais ou um segundo modelo; 2 = só a ameaça; 1 = ameaça interna; 0 = nada.
• EX054 — A métrica de Urbina numa frase. Enuncie a ideia de avaliação de Urbina et al. (2016).
  Mostrar critérios de avaliação

  Rubrica: 3 = medir o impacto máximo que um atacante não detectado (furtivo) consegue alcançar, e não só a taxa de detecção; 2 = parcial; 1 = errado; 0 = nada.

Síntese

A pesquisa começa com uma pergunta afiada, um desenho que se ajusta a ela, ameaças à validade declaradas com honestidade e fontes que você de fato leu.