Capítulo 5 — Estudo principal e validação independente
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Executar o estudo"]
N1["5.2 Estimar o efeito"]
N2["Laboratório — Efeito no desenho escalonado com verif"]
N3["5.3 Ler o resultado"]
N4["5.4 Validação independente"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Executar o estudo"]
N1["5.2 Estimar o efeito"]
N2["Laboratório — Efeito no desenho escalonado com verif"]
N3["5.3 Ler o resultado"]
N4["5.4 Validação independente"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX027"]
[5.1 Executar o estudo]
|
v
[5.2 Estimar o efeito]
|
v
[Laboratório — Efeito no desenho escalonado com verif]
|
v
[5.3 Ler o resultado]
|
v
[5.4 Validação independente]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem
Você vai (1) executar o estudo principal escalonado; (2) estimar o efeito com uma verificação por permutação; (3) organizar uma validação independente.
5.1 Executar o estudo
O estudo principal dura catorze meses. A cada dois meses, três departamentos mudam de programa, até que os doze usem o programa centrado em reportes. Mireille monitora a fidelidade: o botão está disponível, os agradecimentos chegam rápido, as simulações estão na dificuldade combinada? Dois meses depois do início, uma atualização do filtro de e-mail reduz o volume de e-mails suspeitos que chegam aos servidores. Como ela afeta todos os departamentos ao mesmo tempo e foi registrada, o desenho a absorve. Mireille publica notas mensais de fidelidade para o comitê diretor, sem nenhum dado individual. Cada nota é revisada pela comissão de representantes dos servidores antes de circular.
5.2 Estimar o efeito
Mireille compara departamentos-mês antes e depois da mudança, ajustando por mês para absorver as mudanças que atingem a organização inteira. O laboratório executa uma versão simplificada sobre dados sintéticos: estima a variação no reporte em até trinta minutos depois da mudança e repete a estimativa muitas vezes com a ordem de mudança embaralhada, para ver com que frequência o acaso, sozinho, produz um efeito tão grande. Seguindo seu pré-registro, ela reporta tanto a estimativa quanto a proporção de permutações, em vez de um único número de destaque. Mantém o script de análise congelado desde a data do pré-registro, e qualquer mudança posterior é registrada com seu motivo, para que os revisores vejam exatamente o que foi planejado e o que foi acrescentado.
Laboratório — Efeito no desenho escalonado com verificação por permutação
# Stepped rollout: 12 departments, 7 periods; switch order randomised. Synthetic 30-minute reporting rates.
import random
random.seed(11)
order = [1, 1, 1, 2, 2, 2, 3, 3, 3, 4, 4, 4] # period each department switches
base = [0.22, 0.25, 0.27, 0.24, 0.21, 0.26, 0.23, 0.28, 0.25, 0.22, 0.24, 0.26]
month = [0.0, 0.01, -0.02, 0.00, 0.01, -0.01, 0.0]
rates = [[base[d] + month[t] + (0.17 if t >= order[d] else 0) + random.gauss(0, 0.02) for t in range(7)] for d in range(12)]
def effect(o):
# regress on treatment after removing department and month means (two-way demeaning)
y = [row[:] for row in rates]; x = [[1.0 if t >= o[d] else 0.0 for t in range(7)] for d in range(12)]
for m in (y, x):
for _ in range(50):
for d in range(12):
a = sum(m[d]) / 7; m[d] = [v - a for v in m[d]]
for t in range(7):
a = sum(m[d][t] for d in range(12)) / 12
for d in range(12): m[d][t] -= a
num = sum(x[d][t] * y[d][t] for d in range(12) for t in range(7))
den = sum(x[d][t] ** 2 for d in range(12) for t in range(7))
return num / den
est = effect(order); rng = random.Random(5); k = 0; N = 2000
for _ in range(N):
o = order[:]; rng.shuffle(o)
if abs(effect(o)) >= abs(est): k += 1
print(f"estimated change in 30-min reporting: {est:+.3f}; permutation share {k / N:.3f}")
Execute com python3 lab_stepped.py. Saída verificada:
estimated change in 30-min reporting: +0.157; permutation share 0.000
5.3 Ler o resultado
O laboratório estima que o reporte subiu cerca de dezesseis pontos percentuais (+0.157) depois da mudança, e nenhuma das 2.000 ordens embaralhadas produz um efeito tão grande. As taxas de cliques nas simulações caíram um pouco, mas menos do que o reporte subiu, e o questionário de ônus não mostrou aumento. Mireille enuncia o achado de forma estreita: nesta prefeitura, com dificuldade de isca fixa, o programa centrado em reportes foi seguido de um reporte bem mais rápido de e-mails suspeitos reais. Ela não afirma que houve menos violações, algo que o estudo não mediu. Relata o resultado do ônus com o mesmo cuidado dado ao efeito principal.
5.4 Validação independente
Mireille providencia que um segundo analista, de outra universidade, receba os dados anonimizados por departamento-mês, o pré-registro e o plano de análise, mas não o código dela. O analista escreve uma análise independente e chega a uma estimativa a menos de dois pontos percentuais da dela. Uma segunda prefeitura, o fictício Brenholt District, também faz uma replicação mais curta e encontra um efeito menor, mas positivo. A validação independente mostra que o resultado não depende das escolhas de um único analista nem das peculiaridades de uma única organização. Os dois relatórios de validação são publicados ao lado da análise dela, com as diferenças explicadas.
Exemplo resolvido
Mireille executa um estudo escalonado de catorze meses com verificações de fidelidade, estima um efeito sobre o reporte com uma verificação por permutação e obtém uma reanálise e uma replicação independentes.
Caso sintético. As prefeituras, os dados e os resultados são sintéticos.
Erros e limites
Desfechos por departamento escondem a variação individual. Replicações em outras prefeituras podem diferir em cultura.
Exercícios
- EX027 — Verificações de fidelidade. O que o monitoramento de fidelidade verificava? Rubrica: 3 = disponibilidade do botão, agradecimentos rápidos e dificuldade fixa das simulações;; 2 = os três;; 1 = vago;; 0 = nenhuma.
- EX028 — Atualização do filtro. Por que a atualização do filtro não estragou o estudo? Rubrica: 3 = afetou todos os departamentos ao mesmo tempo e foi registrada;; 2 = o desenho absorve;; 1 = vago;; 0 = nenhuma.
- EX029 — Estimativa do laboratório. Que efeito o laboratório estimou? Rubrica: 3 = +0.157 no reporte em 30 minutos, proporção de permutações 0.000 em 2.000;; 2 = positivo;; 1 = vago;; 0 = nenhuma.
- EX030 — Afirmação estreita. Como Mireille enuncia o achado? Rubrica: 3 = reporte mais rápido nesta prefeitura com dificuldade fixa, não menos violações;; 2 = estreita;; 1 = violações caíram;; 0 = nenhuma.
- EX031 — Preparação da reanálise. O que o segundo analista recebeu? Rubrica: 3 = dados anonimizados, pré-registro e plano, mas não o código;; 2 = sem código;; 1 = tudo;; 0 = nenhuma.
- EX032 — Resultado da replicação. O que a replicação em Brenholt encontrou? Rubrica: 3 = um efeito menor, mas positivo;; 2 = menor;; 1 = vago;; 0 = nenhuma.
Síntese
Um estudo escalonado com verificações de fidelidade, inferência por permutação e validação independente sustenta uma afirmação estreita e crível.
Continue estudando — aula 05 (capítulo 05 de 08)
← Capítulo 04 · Índice das aulas · Capítulo 06 →
Continue para a próxima aula já escrita.