Capítulo 37 — Seminário de revisão de evidências
Mapa da aula
Aula 37 publicada. Mapa, exemplo, EX109.
flowchart TD
N0["37.1 Revisar as evidências"]
N1["37.2 Avaliar a qualidade"]
N2["37.3 O que se sabe"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX109"]
Desenho lógico
flowchart LR
N0["37.1 Revisar as evidências"]
N1["37.2 Avaliar a qualidade"]
N2["37.3 O que se sabe"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3 --> Q["EX109"]
[37.1 Revisar as evidências]
|
v
[37.2 Avaliar a qualidade]
|
v
[37.3 O que se sabe]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX109]
Objetivos de aprendizagem
Você vai (1) revisar as evidências sobre a eficácia do treinamento de conscientização; (2) avaliar a qualidade dos estudos; (3) resumir o que se sabe e o que não se sabe.
37.1 Revisar as evidências
Num seminário, Nadia e os colegas revisam as evidências publicadas sobre se o treinamento de conscientização e as simulações funcionam. Eles leem Bada, Sasse e Nurse (2019) sobre por que as campanhas falham, Lain, Kostiainen e Čapkun (2022) sobre um grande estudo organizacional de phishing e a NIST SP 800-50r1 sobre o desenho de programas. Observam que muitas afirmações de fornecedores não têm evidência independente. Revisar as evidências os ajuda a não repetir crenças populares e, em vez disso, basear as recomendações em estudos cujos métodos podem examinar e julgar. Cada estudante apresenta um artigo ao grupo e conduz dez minutos de discussão.
37.2 Avaliar a qualidade
O grupo avalia a qualidade dos estudos com perguntas simples: quantos participantes, havia grupo de comparação, como os resultados foram medidos e quem financiou o estudo. Lain e colegas estudaram milhares de funcionários por mais de um ano, o que dá peso a seus achados; eles constataram que o treinamento embutido após os cliques não melhorou os resultados, enquanto os funcionários, coletivamente, reportaram muitos e-mails de phishing. Estudos pequenos, sem grupo de comparação ou financiados por fornecedores, recebem menos peso. A avaliação de qualidade os ajuda a pesar afirmações conflitantes de forma sensata.
37.3 O que se sabe
O grupo resume: as evidências sugerem que campanhas baseadas no medo e longos treinamentos após o clique são fracos; que o reporte por muitos funcionários pode detectar ataques rapidamente; e que o design usável reduz o ônus. Sabe-se menos sobre os efeitos de longo prazo do retorno ou sobre organizações pequenas como as bibliotecas. Nadia observa que seu próprio trabalho na Ashcombe acrescenta um pequeno caso a essa lacuna. Uma declaração clara do que se sabe e do que não se sabe orienta tanto a prática quanto a pesquisa futura, e protege contra afirmações excessivamente confiantes. O resumo cabe em uma página.
Exemplo resolvido
O seminário de Nadia revisa estudos-chave, avalia sua qualidade e resume os pontos conhecidos e desconhecidos.
Caso sintético. O seminário é sintético; Bada et al. (2019), Lain et al. (2022) e a SP 800-50r1 são reais.
Erros e limites
As revisões podem deixar estudos de fora. As perguntas de qualidade são simples.
Exercícios
- EX109 — Achado de Lain. O que Lain et al. constataram sobre o treinamento embutido? Rubrica: 3 = não melhorou os resultados;; 2 = ineficaz;; 1 = ajudou;; 0 = nenhuma.
- EX110 — Perguntas de qualidade. Cite duas perguntas de qualidade usadas. Rubrica: 3 = número de participantes e grupo de comparação;; 2 = duas;; 1 = vago;; 0 = nenhuma.
- EX111 — Lacuna conhecida. O que se sabe menos? Rubrica: 3 = efeitos de longo prazo do retorno e organizações pequenas;; 2 = lacuna;; 1 = vago;; 0 = nenhuma.
Síntese
A revisão de evidências pesa a qualidade dos estudos e declara o que se sabe e o que não se sabe.
Continue estudando — aula 37 (capítulo 37 de 40)
← Capítulo 36 · Índice das aulas · Capítulo 38 →
Continue para a próxima aula já escrita.