Capítulo 3 — Fatores humanos e política cibernética: evidências especializadas
Mapa da aula
Aula 03 publicada. Mapa, exemplo, EX011.
flowchart TD
N0["3.1 Avaliar estudos"]
N1["3.2 Tamanhos de efeito"]
N2["Laboratório — Diferença de risco e intervalo para do"]
N3["3.3 Transferibilidade"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX011"]
Desenho lógico
flowchart LR
N0["3.1 Avaliar estudos"]
N1["3.2 Tamanhos de efeito"]
N2["Laboratório — Diferença de risco e intervalo para do"]
N3["3.3 Transferibilidade"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX011"]
[3.1 Avaliar estudos]
|
v
[3.2 Tamanhos de efeito]
|
v
[Laboratório — Diferença de risco e intervalo para do]
|
v
[3.3 Transferibilidade]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX011]
Objetivos de aprendizagem
Você vai (1) avaliar criticamente estudos especializados sobre comportamento de segurança; (2) interpretar tamanhos de efeito e incerteza; (3) julgar a transferibilidade para uma organização.
3.1 Avaliar estudos
Daniel avalia em detalhe os estudos-chave. Para cada um, pergunta o que foi estudado, com quem, como os resultados foram medidos, se havia comparação e que limites os autores declaram. Lain e colegas estudaram milhares de funcionários de uma empresa ao longo de quinze meses, com condições randomizadas, o que dá ao estudo forte validade interna. Adams e Sasse (1999) usaram questionários e entrevistas para explicar o comportamento em relação às senhas, oferecendo profundidade, e não medição de efeitos. A avaliação crítica o ajuda a usar cada estudo para aquilo que ele pode sustentar. Ele mantém anotações sobre cada um.
3.2 Tamanhos de efeito
Daniel aprende a ler tamanhos de efeito, e não apenas a significância. Uma diferença pode ser estatisticamente significativa e, ainda assim, pequena na prática, ou grande, mas incerta. O laboratório calcula uma diferença de risco e seu intervalo de confiança para uma comparação sintética das taxas de reporte entre dois formatos de treinamento. O intervalo é largo, de modo que, embora um formato pareça melhor, os dados são compatíveis com um benefício pequeno ou até nulo. Ele observa que as decisões devem considerar a faixa plausível, e não apenas a estimativa pontual. Ele relata os dois números.
Laboratório — Diferença de risco e intervalo para dois formatos
# Risk difference with Wald 95% interval for two training formats (synthetic).
from math import sqrt
a, n1, b, n2 = 37, 100, 31, 100
p1, p2 = a / n1, b / n2; d = p1 - p2; se = sqrt(p1 * (1 - p1) / n1 + p2 * (1 - p2) / n2)
print(f"format A {p1:.0%}, format B {p2:.0%}, difference {100 * d:.1f} points, 95% CI {100 * (d - 1.96 * se):.1f} to {100 * (d + 1.96 * se):.1f}")
Execute com python3 lab_effect.py. Saída verificada:
format A 37%, format B 31%, difference 6.0 points, 95% CI -7.1 to 19.1
3.3 Transferibilidade
Um achado de uma organização pode não valer em outra. Daniel compara a Calloway com as organizações dos estudos-chave: tamanho, setor, cultura e exposição a ataques. A Calloway se parece com a grande empresa do estudo de Lain no trabalho intensivo em e-mail, de modo que o achado sobre os reportes provavelmente se transfere; ela difere dos ambientes universitários de alguns estudos sobre senhas. Ele registra explicitamente seus julgamentos de transferibilidade, para que outros possam ver por que ele confia mais em alguns estudos do que em outros ao desenhar o programa da Calloway. A Dra. Holm revisa esses julgamentos.
Exemplo resolvido
Daniel avalia os estudos pelo desenho, lê um tamanho de efeito com seu intervalo e julga a transferibilidade para a Calloway.
Caso sintético. Os dados do laboratório são sintéticos; os estudos citados são reais.
Erros e limites
A transferibilidade é um julgamento. Os estudos publicados favorecem resultados positivos.
Exercícios
- EX011 — Força do desenho de Lain. O que dá a Lain et al. forte validade interna? Rubrica: 3 = condições randomizadas ao longo de quinze meses;; 2 = randomização;; 1 = vago;; 0 = nenhuma.
- EX012 — Método de Adams e Sasse. O que Adams e Sasse (1999) ofereceram? Rubrica: 3 = profundidade a partir de questionários e entrevistas;; 2 = profundidade;; 1 = tamanho de efeito;; 0 = nenhuma.
- EX013 — Diferença no laboratório. Que diferença de risco o laboratório calculou? Rubrica: 3 = 6,0 pontos, intervalo de -7,1 a 19,1;; 2 = largo;; 1 = vago;; 0 = nenhuma.
- EX014 — Significado do intervalo. O que significa o intervalo largo? Rubrica: 3 = o benefício pode ser pequeno ou nulo;; 2 = incerto;; 1 = vago;; 0 = nenhuma.
- EX015 — Julgamento de transferência. Por que o achado de Lain sobre reportes provavelmente se transfere? Rubrica: 3 = a Calloway se parece com a grande empresa intensiva em e-mail;; 2 = semelhança;; 1 = vago;; 0 = nenhuma.
Síntese
As evidências especializadas são avaliadas pelo desenho, lidas com incerteza e transferidas com julgamento explícito.
Continue estudando — aula 03 (capítulo 03 de 12)
← Capítulo 02 · Índice das aulas · Capítulo 04 →
Continue para a próxima aula já escrita.