## Capítulo 37 — Seminário de revisão de evidências ### Mapa da aula Aula 37 publicada. Mapa, exemplo, EX109. ```mermaid flowchart TD N0["37.1 Uma escada de evidências"] N1["37.2 Lendo um artigo de medição"] N2["37.3 Lendo uma revisão de literatura"] N3["37.4 Revisão por pares estruturada"] N4["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 N4 --> EX["Exemplo resolvido"] EX --> Q["Exercício EX109"] ``` ### Desenho lógico ```mermaid flowchart LR N0["37.1 Uma escada de evidências"] N1["37.2 Lendo um artigo de medição"] N2["37.3 Lendo uma revisão de literatura"] N3["37.4 Revisão por pares estruturada"] N4["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX109"] ``` ```text [37.1 Uma escada de evidências] | v [37.2 Lendo um artigo de medição] | v [37.3 Lendo uma revisão de literatura] | v [37.4 Revisão por pares estruturada] | v [Síntese] | v [Exemplo resolvido] --> [Exercício EX109] ``` ### Objetivos de aprendizagem Você vai (1) revisar criticamente uma afirmação publicada sobre segurança de TO; (2) graduar a qualidade das evidências, da anedota à medição replicada; (3) verificar se as conclusões decorrem dos dados apresentados; e (4) dar e receber revisão por pares estruturada. ### 37.1 Uma escada de evidências Da mais fraca à mais forte: afirmação de marketing de fornecedor; anedota isolada; relato de caso de uma fonte primária; medição sistemática num sistema; medição replicada em vários sistemas ou por equipes independentes. Um seminário pergunta de toda afirmação: em que degrau ela está, e a conclusão vai além dele? A revisão de Maya do relatório de um colega aplica a escada: "o CUSUM elimina os alarmes falsos no aquecimento distrital" alega um resultado replicado, mas a evidência é uma única medição sistemática em dados sintéticos, 0 de 40 execuções. Esse degrau sustenta "nenhum alarme falso observado, limite superior de cerca de 8,8 %", e não a eliminação, e não diz nada sobre plantas reais. ### 37.2 Lendo um artigo de medição O estudo do Mirai de Antonakakis et al. (USENIX Security 2017) é um bom texto para seminário: ele combina várias fontes de dados — varreduras de um telescópio de rede, honeypots, dados de DNS e dados das vítimas dos ataques — para estimar o tamanho e o comportamento da infecção. Pergunte: o que cada fonte vê e o que deixa de ver? Como os dispositivos infectados foram contados, se os endereços IP mudam? Quais conclusões dependem de uma única fonte? Para o seminário da LDHP, o exercício útil é pegar uma conclusão, como a parcela das infecções por credenciais padrão de Telnet, e nomear a fonte em que ela se apoia. ### 37.3 Lendo uma revisão de literatura Giraldo et al. (ACM Computing Surveys, 2018) classificam os trabalhos de detecção baseada em física. A força de uma revisão é a amplitude; o seu risco é relatar o que os artigos afirmam, em vez de testá-los de novo. Use-a para encontrar artigos primários e fraquezas recorrentes, como modelos de atacante inconsistentes. Para o estudo de detectores de Maya, Giraldo et al. apontaram para a avaliação baseada em impacto de Urbina et al., que moldou a decisão dela de variar a inclinação do ataque em vez de relatar uma única taxa de detecção. A revisão também a alertou de que muitos artigos sobre detectores não usam um modelo de atacante consistente, e é por isso que o pré-registro dela nomeia a rampa de 0,08 °C por amostra como a sua classe de ataque antes de qualquer execução. ### 37.4 Revisão por pares estruturada Formato da revisão: resumo com as suas próprias palavras; principais pontos fortes; preocupações maiores (validade, comparações ausentes, conclusões que vão além dos dados); questões menores; uma recomendação. Comente o trabalho, não a pessoa. A revisão de Maya sobre o relatório de CUSUM do colega segue exatamente essa ordem. O resumo reformula a afirmação, o ponto forte é o script reproduzível com sementes, a preocupação maior é que 0 de 40 execuções sintéticas não sustentam "elimina", e a questão menor é o atraso dado em amostras em vez de minutos. A recomendação, revisar a afirmação e acrescentar o limite de cerca de 8,8 %, diz ao autor o que mudar. Separar preocupações maiores de menores mostra qual mudança é essencial antes que o relatório se sustente. ### Exemplo resolvido (LDHP sintética) O relatório de um colega afirma que "o CUSUM elimina os alarmes falsos no aquecimento distrital". A revisão de Maya: resumo; ponto forte — script reprodutível com sementes; preocupação maior — 0/40 execuções sintéticas sustentam "nenhum alarme falso observado, limite superior ≈ 8,8 %", e não a eliminação, e nada foi testado em dados reais de uma planta; menor — a unidade do atraso (amostras) não é convertida em minutos; recomendação — revisar a afirmação e acrescentar o limite. > **Caso sintético — Lakeside District Heating Plant.** O relatório do colega é inventado. ### Erros e limites A revisão por pares confere o raciocínio, não a verdade; os revisores também deixam passar erros. O prestígio de um veículo de publicação não é evidência de correção. ### Exercícios - **EX109 — Posicionando afirmações na escada.** Posicione na escada de evidências: (a) um folheto de fornecedor dizendo "bloqueia 99,9 % dos ataques a ICS", (b) o AA21-042A. *Rubrica:* 3 = (a) afirmação de marketing, (b) relato de caso primário; 2 = um; 1 = invertidos; 0 = nada. - **EX110 — Questionando uma conclusão de fonte única.** Identifique uma conclusão do estudo do Mirai que seria mais fraca se se baseasse apenas em dados de honeypots, e por quê. *Rubrica:* 3 = estimativa do tamanho da infecção/da população; os honeypots só veem os dispositivos que os contatam; 2 = parcial; 1 = vago; 0 = nada. - **EX111 — Escrevendo uma preocupação maior.** Escreva a preocupação maior para um artigo que avalia um detector numa única planta simulada, com limiares ajustados à mão. *Rubrica:* 3 = generalização e viés de ajustar no teste, com a correção pedida; 2 = um; 1 = comentário de estilo; 0 = nada. ### Síntese A revisão de evidências pergunta quão fortes são as evidências, se a conclusão se ajusta a elas e como dizer isso de forma construtiva. ### Continue estudando — capítulo 37 de 40 [← Capítulo 36](#ch-36) · [Índice de capítulos do curso](../SUBJECTS.md) · [Capítulo 38 →](#ch-38) Siga para a próxima lição escrita. ## Worked answers **EX109.** (a) Degrau mais baixo — uma afirmação de marketing não verificada, sem método nem denominador. (b) Um relato de caso primário de uma fonte governamental: mais forte, mas um único incidente. **EX110.** A estimativa de quantos dispositivos foram infectados: os honeypots só observam os bots que por acaso os varrem ou atacam, então subcontam e são enviesados pela localização dos honeypots; os dados do telescópio dão a visão mais ampla da população. **EX111.** "O detector é ajustado e avaliado na mesma planta simulada, então as taxas de alarmes falsos e de detecção relatadas provavelmente são otimistas e podem não se generalizar. Por favor, ajuste os limiares em sementes separadas, congele-os e avalie em pelo menos um modelo de processo adicional ou num conjunto de dados publicado."