OpenCyber AcademyMapa da aula
Aula 37 publicada. Mapa, exemplo, EX109.
flowchart TD
N0["37.1 Uma escada de evidências"]
N1["37.2 Lendo um artigo de medição"]
N2["37.3 Lendo uma revisão de literatura"]
N3["37.4 Revisão por pares estruturada"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX109"]
Desenho lógico
flowchart LR
N0["37.1 Uma escada de evidências"]
N1["37.2 Lendo um artigo de medição"]
N2["37.3 Lendo uma revisão de literatura"]
N3["37.4 Revisão por pares estruturada"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX109"]
[37.1 Uma escada de evidências]
|
v
[37.2 Lendo um artigo de medição]
|
v
[37.3 Lendo uma revisão de literatura]
|
v
[37.4 Revisão por pares estruturada]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX109]
Objetivos de aprendizagem
Você vai (1) revisar criticamente uma afirmação publicada sobre segurança de TO; (2) graduar a qualidade das evidências, da anedota à medição replicada; (3) verificar se as conclusões decorrem dos dados apresentados; e (4) dar e receber revisão por pares estruturada.
37.1 Uma escada de evidências
Da mais fraca à mais forte: afirmação de marketing de fornecedor; anedota isolada; relato de caso de uma fonte primária; medição sistemática num sistema; medição replicada em vários sistemas ou por equipes independentes. Um seminário pergunta de toda afirmação: em que degrau ela está, e a conclusão vai além dele? A revisão de Maya do relatório de um colega aplica a escada: "o CUSUM elimina os alarmes falsos no aquecimento distrital" alega um resultado replicado, mas a evidência é uma única medição sistemática em dados sintéticos, 0 de 40 execuções. Esse degrau sustenta "nenhum alarme falso observado, limite superior de cerca de 8,8 %", e não a eliminação, e não diz nada sobre plantas reais.
37.2 Lendo um artigo de medição
O estudo do Mirai de Antonakakis et al. (USENIX Security 2017) é um bom texto para seminário: ele combina várias fontes de dados — varreduras de um telescópio de rede, honeypots, dados de DNS e dados das vítimas dos ataques — para estimar o tamanho e o comportamento da infecção. Pergunte: o que cada fonte vê e o que deixa de ver? Como os dispositivos infectados foram contados, se os endereços IP mudam? Quais conclusões dependem de uma única fonte? Para o seminário da LDHP, o exercício útil é pegar uma conclusão, como a parcela das infecções por credenciais padrão de Telnet, e nomear a fonte em que ela se apoia.
37.3 Lendo uma revisão de literatura
Giraldo et al. (ACM Computing Surveys, 2018) classificam os trabalhos de detecção baseada em física. A força de uma revisão é a amplitude; o seu risco é relatar o que os artigos afirmam, em vez de testá-los de novo. Use-a para encontrar artigos primários e fraquezas recorrentes, como modelos de atacante inconsistentes. Para o estudo de detectores de Maya, Giraldo et al. apontaram para a avaliação baseada em impacto de Urbina et al., que moldou a decisão dela de variar a inclinação do ataque em vez de relatar uma única taxa de detecção. A revisão também a alertou de que muitos artigos sobre detectores não usam um modelo de atacante consistente, e é por isso que o pré-registro dela nomeia a rampa de 0,08 °C por amostra como a sua classe de ataque antes de qualquer execução.
37.4 Revisão por pares estruturada
Formato da revisão: resumo com as suas próprias palavras; principais pontos fortes; preocupações maiores (validade, comparações ausentes, conclusões que vão além dos dados); questões menores; uma recomendação. Comente o trabalho, não a pessoa.
A revisão de Maya sobre o relatório de CUSUM do colega segue exatamente essa ordem. O resumo reformula a afirmação, o ponto forte é o script reproduzível com sementes, a preocupação maior é que 0 de 40 execuções sintéticas não sustentam "elimina", e a questão menor é o atraso dado em amostras em vez de minutos. A recomendação, revisar a afirmação e acrescentar o limite de cerca de 8,8 %, diz ao autor o que mudar. Separar preocupações maiores de menores mostra qual mudança é essencial antes que o relatório se sustente.
Exemplo resolvido (LDHP sintética)
O relatório de um colega afirma que "o CUSUM elimina os alarmes falsos no aquecimento distrital". A revisão de Maya: resumo; ponto forte — script reprodutível com sementes; preocupação maior — 0/40 execuções sintéticas sustentam "nenhum alarme falso observado, limite superior ≈ 8,8 %", e não a eliminação, e nada foi testado em dados reais de uma planta; menor — a unidade do atraso (amostras) não é convertida em minutos; recomendação — revisar a afirmação e acrescentar o limite.
Caso sintético — Lakeside District Heating Plant. O relatório do colega é inventado.
Erros e limites
A revisão por pares confere o raciocínio, não a verdade; os revisores também deixam passar erros. O prestígio de um veículo de publicação não é evidência de correção.
Exercícios
- EX109 — Posicionando afirmações na escada. Posicione na escada de evidências: (a) um folheto de fornecedor dizendo "bloqueia 99,9 % dos ataques a ICS", (b) o AA21-042A.
Mostrar critérios de avaliação
Rubrica: 3 = (a) afirmação de marketing, (b) relato de caso primário; 2 = um; 1 = invertidos; 0 = nada. - EX110 — Questionando uma conclusão de fonte única. Identifique uma conclusão do estudo do Mirai que seria mais fraca se se baseasse apenas em dados de honeypots, e por quê.
Mostrar critérios de avaliação
Rubrica: 3 = estimativa do tamanho da infecção/da população; os honeypots só veem os dispositivos que os contatam; 2 = parcial; 1 = vago; 0 = nada. - EX111 — Escrevendo uma preocupação maior. Escreva a preocupação maior para um artigo que avalia um detector numa única planta simulada, com limiares ajustados à mão.
Mostrar critérios de avaliação
Rubrica: 3 = generalização e viés de ajustar no teste, com a correção pedida; 2 = um; 1 = comentário de estilo; 0 = nada.
Síntese
A revisão de evidências pergunta quão fortes são as evidências, se a conclusão se ajusta a elas e como dizer isso de forma construtiva.