Capítulo 3 — Desenho do estudo, ética e reprodutibilidade

Capítulo 3 — Desenho do estudo, ética e reprodutibilidade

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Escolhendo um desenho"]
  N1["3.2 Verificando os pressupostos"]
  N2["3.3 Ética"]
  N3["3.4 Análise reproduzível"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Escolhendo um desenho"]
  N1["3.2 Verificando os pressupostos"]
  N2["3.3 Ética"]
  N3["3.4 Análise reproduzível"]
  N0 --> N1 --> N2 --> N3 --> Q["EX015"]

[3.1 Escolhendo um desenho]
    |
    v
[3.2 Verificando os pressupostos]
    |
    v
[3.3 Ética]
    |
    v
[3.4 Análise reproduzível]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) escolher um desenho quase experimental quando a randomização é impossível; (2) obter aprovação ética para a pesquisa em segurança no local de trabalho; (3) fixar um plano de análise antes da coleta de dados.

3.1 Escolhendo um desenho

A Harrowgate não vai randomizar os funcionários, porque a equipe de segurança já escolheu três departamentos para pilotar o feedback. Priya usa, portanto, um desenho de diferença em diferenças, seguindo as orientações de Shadish, Cook e Campbell sobre quase experimentos: comparar a mudança na taxa de cliques nos departamentos com feedback com a mudança nos departamentos de comparação no mesmo período. A comparação remove as influências compartilhadas pelos dois grupos, como um aumento sazonal do phishing real ou uma notícia sobre fraude, que de outra forma seriam creditadas ao feedback. O Dr. Bello aprova a escolha do desenho.

3.2 Verificando os pressupostos

O desenho pressupõe que os dois grupos teriam mudado de forma semelhante sem o feedback. Priya examina quatro simulações trimestrais anteriores e descobre que as taxas de cliques dos dois grupos se moveram juntas, sem que nenhum tivesse tendência mais rápida. Ela também confere se os e-mails de simulação foram idênticos entre os grupos, porque iscas mais difíceis num grupo distorceriam as comparações. O Dr. Bello pede que ela relate essas verificações por completo para que os examinadores possam julgar o pressuposto, em vez de afirmar numa única frase que ele é atendido. Ela traça os quatro trimestres dos dois grupos.

3.3 Ética

O estudo envolve funcionários cujos cliques poderiam ser vistos como falhas. O comitê de ética da universidade o aprova sob condições: os resultados são relatados apenas por departamento, os indivíduos são pseudonimizados pela equipe de segurança antes que Priya receba os dados, ninguém é punido com base nos dados do estudo e os funcionários são informados de que as simulações fazem parte do treinamento. Priya concorda e acrescenta que a dissertação vai evitar uma linguagem que culpe os funcionários, em linha com a literatura de usabilidade. A equipe de segurança confirma por escrito que vai aplicar os pseudônimos antes da exportação.

3.4 Análise reproduzível

Priya escreve seu plano de análise antes de coletar os dados de desfecho: desfecho primário, a taxa de cliques por grupo de departamentos; desfecho secundário, a taxa de relatos; estimador, a diferença em diferenças; incerteza, um intervalo bootstrap de mil reamostragens com uma semente fixa. Ela guarda os scripts em controle de versão e rotula qualquer análise posterior como exploratória. O Dr. Bello assina e data o plano. Ela observa que fixar o plano a protege de escolher as análises depois de ver qual parece melhor. Uma cópia do plano assinado é depositada na secretaria do programa, e a equipe de segurança também recebe uma, para que todas as partes saibam quais análises são confirmatórias.

Exemplo resolvido

Priya usa a diferença em diferenças, verifica as tendências paralelas e as iscas idênticas, obtém aprovação com relato por departamento e sem punições, e congela o plano de análise.

Caso sintético. As condições de aprovação são sintéticas.

Erros e limites

Usar os resultados das simulações para punir funcionários mina a confiança e os relatos.

Exercícios

• EX015 — Desenho escolhido. Que desenho Priya usa? Rubrica: 3 = diferença em diferenças;; 2 = parcialmente correto;; 1 = randomizado;; 0 = nenhuma.

• EX016 — Influências compartilhadas. O que o grupo de comparação remove? Rubrica: 3 = influências compartilhadas pelos dois grupos;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX017 — Verificação do pressuposto. O que as quatro simulações anteriores mostraram? Rubrica: 3 = as taxas se moveram juntas;; 2 = parcialmente correto;; 1 = divergiram;; 0 = nenhuma.

• EX018 — Verificação das iscas. Por que conferir se os e-mails eram idênticos? Rubrica: 3 = iscas mais difíceis distorceriam a comparação;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX019 — Nível do relato. Em que nível os resultados são relatados? Rubrica: 3 = por departamento;; 2 = parcialmente correto;; 1 = individual;; 0 = nenhuma.

• EX020 — Método da incerteza. Como a incerteza é estimada? Rubrica: 3 = bootstrap com mil reamostragens e semente fixa;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

Continue estudando — aula 03 (capítulo 03 de 08)

← Capítulo 02 · Índice das aulas · Capítulo 04 →

Continue para a próxima aula já escrita.