Capítulo 1 — Integridade e métodos avançados de pesquisa | Pesquisa doutoral Fatores humanos e política cibernética

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Uma pergunta falseável"]
  N1["1.2 Por que a taxa de cliques engana"]
  N2["1.3 Integridade e ética"]
  N3["1.4 Codificar e-mails reportados"]
  N4["Laboratório — Concordância entre codificadores nos e"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Uma pergunta falseável"]
  N1["1.2 Por que a taxa de cliques engana"]
  N2["1.3 Integridade e ética"]
  N3["1.4 Codificar e-mails reportados"]
  N4["Laboratório — Concordância entre codificadores nos e"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"]

[1.1 Uma pergunta falseável]
    |
    v
[1.2 Por que a taxa de cliques engana]
    |
    v
[1.3 Integridade e ética]
    |
    v
[1.4 Codificar e-mails reportados]
    |
    v
[Laboratório — Concordância entre codificadores nos e]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem

Você vai (1) formular uma pergunta falseável sobre comportamento de segurança; (2) definir regras de integridade e de ética para pesquisas com funcionários; (3) medir a concordância na codificação de e-mails reportados.

1.1 Uma pergunta falseável

Mireille Okonjo é doutoranda na fictícia Calder University, sob orientação do Prof. Henrik Aalto. Sua parceira é a fictícia Vantor Municipal Services, uma prefeitura com quatro mil servidores. O programa de conscientização da Vantor é avaliado pela proporção de servidores que clicam em links de phishing simulado. A pergunta de Mireille é mais estreita e testável: um programa construído sobre a facilidade de reportar e sobre um retorno imediato e acolhedor aumenta a proporção de e-mails suspeitos reais reportados em até trinta minutos, em comparação com o programa atual, centrado em cliques? Ela registra de antemão qual resultado mostraria que sua ideia está errada.

1.2 Por que a taxa de cliques engana

Mireille revisa as críticas à taxa de cliques como desfecho. A taxa de cliques depende fortemente da dificuldade da isca, por isso muda quando a simulação muda, mesmo que o comportamento das pessoas continue o mesmo. Lain, Kostiainen e Čapkun (2022) estudaram phishing em uma grande organização por um longo período e constataram que algumas práticas populares de treinamento não ajudaram como se esperava, enquanto os reportes feitos pelos funcionários eram um sinal valioso. Dawkins e Jacobs (2023) descrevem a NIST Phish Scale, que classifica a dificuldade das iscas. Ela decide fixar a dificuldade das iscas em seu estudo e usar o reporte como desfecho principal.

1.3 Integridade e ética

Pesquisas com funcionários trazem riscos de engano, constrangimento e desequilíbrio de poder. O protocolo de Mireille, aprovado pelo comitê de ética da Calder e pela comissão de representantes dos servidores da Vantor, fixa regras: as simulações são anunciadas antecipadamente em nível organizacional, sem datas; nenhum resultado individual chega aos gestores; ninguém é punido por clicar; nenhuma credencial real é coletada, pois a página de destino registra apenas que um link foi aberto; e quem clica vê uma explicação curta e acolhedora. Ela pré-registra hipóteses, desfechos e análise antes de coletar dados, para não poder ajustá-los depois de ver os resultados.

1.4 Codificar e-mails reportados

O desfecho depende de julgar se um e-mail real reportado era de fato suspeito. Dois codificadores treinados rotulam de forma independente uma amostra piloto de reportes como suspeitos ou benignos, seguindo um guia escrito. O laboratório calcula a concordância e o kappa de Cohen, que corrige a concordância esperada pelo acaso; Landis e Koch (1977) oferecem faixas convencionais para interpretá-lo. A concordância é alta o bastante para prosseguir, e as divergências levam a uma regra mais clara sobre newsletters com links de rastreamento. A concordância medida entre codificadores é parte da evidência de que o desfecho significa algo estável.

Laboratório — Concordância entre codificadores nos e-mails reportados

# Cohen's kappa for two coders labelling 50 pilot reports suspicious (1) or benign (0), synthetic.
a = [1] * 22 + [0] * 3 + [1] * 2 + [0] * 23
b = [1] * 22 + [1] * 3 + [0] * 2 + [0] * 23
n = len(a); po = sum(x == y for x, y in zip(a, b)) / n
pa, pb = sum(a) / n, sum(b) / n
pe = pa * pb + (1 - pa) * (1 - pb)
print(f"reports {n}; agreement {po:.2f}; chance {pe:.3f}; kappa {(po - pe) / (1 - pe):.2f}")

Execute com python3 lab_kappa.py. Saída verificada:

reports 50; agreement 0.90; chance 0.500; kappa 0.80

Exemplo resolvido

Mireille formula uma pergunta falseável sobre reportes, troca a taxa de cliques pelo reporte com dificuldade de isca fixa, escreve regras éticas para as simulações e mede a concordância entre codificadores.

Caso sintético. A Calder, a Vantor e todas as pessoas são sintéticas; Lain et al. (2022), Dawkins e Jacobs (2023) e Landis e Koch (1977) são reais.

Erros e limites

O pré-registro não impede todo viés. O kappa depende da prevalência na amostra.

Exercícios

EX001 — Desfecho falseável. O que torna falseável a pergunta de Mireille?
Mostrar critérios de avaliação
Rubrica: 3 = ela declara de antemão qual resultado mostraria que a ideia está errada;; 2 = declaração prévia;; 1 = vago;; 0 = nenhuma.
EX002 — Falha da taxa de cliques. Por que a taxa de cliques é um desfecho fraco?
Mostrar critérios de avaliação
Rubrica: 3 = depende fortemente da dificuldade da isca;; 2 = dificuldade;; 1 = vago;; 0 = nenhuma.
EX003 — Ferramenta de dificuldade. Que ferramenta publicada ajuda a classificar a dificuldade das iscas?
Mostrar critérios de avaliação
Rubrica: 3 = a NIST Phish Scale (Dawkins e Jacobs, 2023);; 2 = Phish Scale;; 1 = vago;; 0 = nenhuma.
EX004 — Regra da página de destino. Como o protocolo evita coletar credenciais?
Mostrar critérios de avaliação
Rubrica: 3 = a página de destino registra apenas que um link foi aberto;; 2 = sem captura;; 1 = vago;; 0 = nenhuma.
EX005 — Relatórios a gestores. Quem recebe resultados individuais das simulações?
Mostrar critérios de avaliação
Rubrica: 3 = ninguém; só se reportam agregados;; 2 = agregados;; 1 = gestores;; 0 = nenhuma.
EX006 — Resultado do kappa. Que kappa a codificação piloto alcançou no laboratório?
Mostrar critérios de avaliação
Rubrica: 3 = 0.80 em 50 reportes, concordância 0.90;; 2 = cerca de 0,8;; 1 = vago;; 0 = nenhuma.
EX007 — Mudança na regra de codificação. Que regra mudou após as divergências entre codificadores?
Mostrar critérios de avaliação
Rubrica: 3 = newsletters com links de rastreamento passaram a ser definidas com mais clareza;; 2 = newsletters;; 1 = vago;; 0 = nenhuma.

Síntese

O trabalho de doutorado sobre comportamento de segurança precisa de um resultado falseável, ética rigorosa para simulações e concordância medida sobre como os resultados são codificados.