Capítulo 3 — Desenho do estudo, ética e reprodutibilidade

Capítulo 3 — Desenho do estudo, ética e reprodutibilidade

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Desenhos para um evento que ninguém atribuiu"]
  N1["3.2 Ameaças à validade"]
  N2["3.3 Análise do desenho antes dos dados"]
  N3["3.4 Revisão ética"]
  N4["3.5 Acordos de dados e o plano de gestão de dados"]
  N5["3.6 Um projeto reprodutível desde o primeiro dia"]
  N6["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Desenhos para um evento que ninguém atribuiu"]
  N1["3.2 Ameaças à validade"]
  N2["3.3 Análise do desenho antes dos dados"]
  N3["3.4 Revisão ética"]
  N4["3.5 Acordos de dados e o plano de gestão de dados"]
  N5["3.6 Um projeto reprodutível desde o primeiro dia"]
  N6["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX015"]

[3.1 Desenhos para um evento que ninguém atribuiu]
    |
    v
[3.2 Ameaças à validade]
    |
    v
[3.3 Análise do desenho antes dos dados]
    |
    v
[3.4 Revisão ética]
    |
    v
[3.5 Acordos de dados e o plano de gestão de dados]
    |
    v
[3.6 Um projeto reprodutível desde o primeiro dia]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

1. Comparar os desenhos disponíveis para uma pergunta causal sobre um evento de infraestrutura não planejado — antes e depois, série temporal interrompida, série temporal interrompida controlada, diferença em diferenças, controle sintético, estudo de caso e métodos mistos — e escolher um pelos pressupostos de que precisa e pelos dados que exige.
2. Nomear as principais ameaças à validade interna, de construto, de conclusão estatística e externa, e associar cada uma a uma característica do desenho que a reduza.
3. Executar uma análise do desenho antes do acesso aos dados: estimar quão grande precisa ser um efeito para que o desenho planejado o detecte e quão enviesado seria um desenho mais simples.
4. Preparar uma submissão ao comitê de ética para um estudo que combina dados operacionais agregados e entrevistas, incluindo os riscos para os funcionários, as organizações e o público, e as salvaguardas de sensibilidade da informação.
5. Especificar acordos de dados e um plano de gestão de dados proporcionais à sensibilidade dos dados.
6. Montar um projeto reprodutível — estrutura, ambiente, sementes, livro de códigos, controle de versões e um plano de pré-análise registrado — antes que cheguem os primeiros dados.

O capítulo transforma o estimando do Capítulo 1 num desenho. O Capítulo 4 examina as explicações rivais que o desenho precisa derrotar; o Capítulo 5 testa a viabilidade; o Capítulo 6 executa a análise especificada aqui.

3.1 Desenhos para um evento que ninguém atribuiu

3.1.1 O problema central

Um ataque de ransomware não é um experimento: ninguém o atribuiu aleatoriamente ao Kestrel nem escolheu o seu momento para ajudar os pesquisadores. Todo desenho para o Spillover Study é, portanto, uma forma de aproximar o contrafactual — como teriam sido as chegadas em Alder Point sem o desvio — a partir dos dados que existem. Os desenhos diferem em onde encontram essa aproximação e nos pressupostos que a tornam válida.

Se o estudo agregar vários eventos em momentos diferentes — por exemplo, ataques a diferentes sistemas hospitalares em anos diferentes —, a diferença em diferenças padrão com efeitos fixos bidirecionais pode dar pesos enganosos a algumas comparações; Goodman-Bacon (2021) decompõe o estimador e Roth et al. (2023) examinam as alternativas. Um estudo de mestrado de um único evento evita esse problema, mas abre mão da generalidade.

3.1.2 A escolha do Spillover Study

O estudo usa uma série temporal interrompida controlada para a RQ1 e a RQ2: chegadas diárias de ambulâncias em cada DE vizinho durante 180 dias antes e 90 dias depois do dia 0, em relação aos DEs de Wexmoor agregados, com uma tendência linear, um degrau para a janela de 21 dias do desvio e um degrau para o período seguinte. Ele acrescenta entrevistas para a RQ3. As razões, registradas na proposta: a região de comparação remove a variação sazonal compartilhada (uma ITS não controlada não consegue); dois DEs de Wexmoor são doadores de menos para um controle sintético; os dados diários dão pontos no tempo suficientes para a tendência; e os planejadores precisam do mecanismo (RQ3) tanto quanto do número.

Uma revisão metodológica dos estudos de ITS que avaliaram intervenções em sistemas de saúde constatou que 81% não usaram nenhuma série de controle, apenas 55% consideraram a autocorrelação, 20,8% a sazonalidade e 8,3% a não estacionariedade, e apenas 49,2% especificaram a forma esperada do impacto (Hategeka et al., 2020). Essas são as falhas comuns que o desenho deste capítulo foi construído para evitar.

3.2 Ameaças à validade

O vocabulário a seguir é padrão nos métodos quase experimentais. Associe cada ameaça à característica do desenho que a trata — e admita as ameaças que nenhuma característica trata.

3.3 Análise do desenho antes dos dados

3.3.1 Por que calcular antes de coletar

Para um experimento planejado, um cálculo de tamanho de amostra fixa quantos participantes recrutar. Um estudo observacional de um único evento não pode recrutar mais eventos, mas pode e deve perguntar, antes do acesso aos dados: quão grande precisa ser um efeito para que este desenho o detecte, e quão errado estaria um desenho mais simples? Lakens (2022) lista seis formas de justificar um tamanho de amostra, entre elas medir (quase) toda a população, aceitar restrições de recursos e planejar para uma acurácia desejada; seja qual for a usada, o pesquisador deve declarar sobre quais efeitos os dados podem e não podem informar. Para o Spillover Study, a amostra é fixada pelo evento: um desvio de 21 dias e tantos dias pré-evento quantos os parceiros puderem fornecer.

3.3.2 O menor efeito de interesse

Uma análise do desenho precisa de um efeito de referência. A coalizão de Tamsin Valley (sintética) aciona a ajuda mútua quando um DE espera quatro ou mais chegadas de ambulâncias adicionais por dia — cerca de 10% sobre a linha de base de 40 de Alder Point. Isso dá ao estudo um menor efeito de interesse ancorado numa decisão real: 10%. Escreva de onde veio o número; um tamanho de efeito inventado para fazer um estudo parecer ter poder adequado é uma fraqueza comum e facilmente detectada.

3.3.3 Simulando o desenho

O laboratório abaixo simula o estudo planejado muitas vezes sob verdades conhecidas, usando chegadas diárias sintéticas com variação por dia da semana e variação adicional de um dia para o outro. Ele compara um desenho não controlado (a variação do DE tratado em relação à sua própria linha de base) com um desenho controlado (a mesma variação menos a variação num DE de comparação não afetado), para linhas de base de 28, 90 e 180 dias, com e sem um aumento sazonal compartilhado que começa perto do dia 0. Ele relata o efeito médio estimado (viés) e a parcela dos estudos simulados em que o intervalo de 95% exclui o zero ("sinalizados").

# Lab 3 - design check before data access: bias and detection of two designs (offline, standard library only)
# Synthetic daily ambulance arrivals at a neighbouring hospital (treated) and an unaffected comparison hospital.
# Days -pre..-1 are baseline; days 0..20 are the 21-day diversion window at the attacked hospital.
import math, random

DOW = [1.08, 1.02, 1.00, 0.98, 1.00, 0.96, 0.96]

def poisson(rng, lam):                        # Knuth's method; adequate for lam < ~500
    L, k, p = math.exp(-lam), 0, 1.0
    while True:
        p *= rng.random()
        if p <= L:
            return k
        k += 1

def season(t, ramp):                          # respiratory season starting around day 0, shared by both
    return 1 + (0.18 / (1 + math.exp(-(t - 10) / 6)) if ramp else 0.0)

def day(rng, base, t, effect, ramp):
    lam = base * DOW[t % 7] * season(t, ramp) * (1 + effect) * rng.gammavariate(60, 1 / 60)
    return poisson(rng, lam)

def mean_var(x):
    m = sum(x) / len(x)
    return m, sum((v - m) ** 2 for v in x) / (len(x) - 1)

def log_ratio(pre, ev):                       # log(mean_event / mean_pre) and its approximate SE
    mp, vp = mean_var(pre)
    me, ve = mean_var(ev)
    return math.log(me / mp), math.sqrt(ve / (len(ev) * me ** 2) + vp / (len(pre) * mp ** 2))

def one_study(rng, pre_len, effect, ramp):
    days = range(-pre_len, 21)
    tr = {t: day(rng, 40, t, effect if t >= 0 else 0.0, ramp) for t in days}
    co = {t: day(rng, 35, t, 0.0, ramp) for t in days}
    pre, ev = [t for t in days if t < 0], [t for t in days if t >= 0]
    u, su = log_ratio([tr[t] for t in pre], [tr[t] for t in ev])           # uncontrolled pre/post
    c1, s1 = log_ratio([co[t] for t in pre], [co[t] for t in ev])
    return (u, su), (u - c1, math.sqrt(su ** 2 + s1 ** 2))                  # controlled (DiD on logs)

def run(pre_len, effect, ramp, sims=400, seed=11):
    rng = random.Random(seed)
    res = {"uncontrolled": [], "controlled": []}
    for _ in range(sims):
        a, b = one_study(rng, pre_len, effect, ramp)
        res["uncontrolled"].append(a)
        res["controlled"].append(b)
    out = {}
    for k, v in res.items():
        est = [math.exp(e) - 1 for e, _ in v]
        hits = sum(abs(e) / s > 1.96 for e, s in v) / sims
        out[k] = (sum(est) / sims, hits)
    return out

if __name__ == "__main__":
    print("season  true  pre_days  design        mean_est  share_flagged")
    for ramp in (False, True):
        for effect in (0.0, 0.10):
            for pre_len in (28, 90, 180):
                r = run(pre_len, effect, ramp)
                for k in ("uncontrolled", "controlled"):
                    m, h = r[k]
                    print(f"{'ramp' if ramp else 'flat':6}  {effect:4.2f}  {pre_len:8d}  {k:12}  {m:+8.3f}  {h:13.2f}")

Saída esperada (cerca de três segundos):

season  true  pre_days  design        mean_est  share_flagged
flat    0.00        28  uncontrolled    +0.004           0.06
flat    0.00        28  controlled      +0.010           0.04
flat    0.00        90  uncontrolled    +0.001           0.04
flat    0.00        90  controlled      +0.004           0.02
flat    0.00       180  uncontrolled    +0.004           0.05
flat    0.00       180  controlled      +0.000           0.04
flat    0.10        28  uncontrolled    +0.102           0.39
flat    0.10        28  controlled      +0.115           0.24
flat    0.10        90  uncontrolled    +0.105           0.52
flat    0.10        90  controlled      +0.110           0.33
flat    0.10       180  uncontrolled    +0.101           0.52
flat    0.10       180  controlled      +0.109           0.29
ramp    0.00        28  uncontrolled    +0.084           0.27
ramp    0.00        28  controlled      +0.003           0.07
ramp    0.00        90  uncontrolled    +0.088           0.40
ramp    0.00        90  controlled      +0.002           0.06
ramp    0.00       180  uncontrolled    +0.096           0.52
ramp    0.00       180  controlled      +0.006           0.07
ramp    0.10        28  uncontrolled    +0.191           0.84
ramp    0.10        28  controlled      +0.105           0.23
ramp    0.10        90  uncontrolled    +0.198           0.94
ramp    0.10        90  controlled      +0.106           0.28
ramp    0.10       180  uncontrolled    +0.202           0.97
ramp    0.10       180  controlled      +0.106           0.31

Quatro conclusões se seguem, e a proposta precisa declará-las antes que qualquer dado seja visto:

1. Sem uma mudança sazonal, os dois desenhos são não enviesados, e o desenho não controlado sinaliza um efeito verdadeiro de 10% com mais frequência (cerca de 52% contra cerca de 30% com 90 ou 180 dias de linha de base) porque subtrair uma série de comparação acrescenta o ruído dela.
2. Com um aumento sazonal compartilhado, o desenho não controlado fica muito enviesado. Quando o efeito verdadeiro é zero, ele estima cerca de +8% a +10% e sinaliza um efeito inexistente em 27% a 52% dos estudos — com mais frequência com linhas de base mais longas, porque a linha de base então recua mais para dentro da estação baixa. Mais dados não corrigiram um problema de desenho; tornaram a conclusão falsa mais confiante.
3. O desenho controlado remove o viés sazonal (estimativas médias perto de zero; sinalizado em 6–7% dos estudos nulos, perto dos 5% nominais, dados os erros-padrão aproximados), mas detecta um efeito verdadeiro de 10% em apenas 23–31% dos estudos.
4. Portanto, um único DE vizinho não consegue detectar de forma confiável o menor efeito de interesse. O estudo deve ser enquadrado como estimação com intervalos, e não como um teste que "mostra" o transbordamento; ele deve relatar o intervalo e os efeitos que descarta; e o gradiente de distância da RQ2 deve ser lido nos três vizinhos, e não a partir de um único teste. (As estimativas controladas têm média de cerca de 0,105–0,115 quando a verdade é 0,10 porque a média das razões logarítmicas exponenciadas é ligeiramente maior do que a média exponenciada — um viés pequeno e conhecido.)

3.4 Revisão ética

3.4.1 O que precisa de revisão

Entrevistas com gestores de DEs, supervisores do EMS e equipe da coalizão são pesquisa com seres humanos em quase todas as jurisdições e precisam de aprovação do comitê de ética em pesquisa ou do institutional review board da instituição antes do recrutamento. Nos Estados Unidos, a Common Rule (45 CFR Part 46) define a pesquisa com seres humanos e as categorias que podem ser dispensadas; é a instituição, e não o estudante, que decide se um estudo se enquadra. As contagens diárias agregadas por DE geralmente não contêm informações sobre indivíduos, mas a instituição pode ainda assim exigir revisão, e um custodiante dos dados pode exigir sua própria aprovação. Na UE, os dados de saúde são uma categoria especial segundo o artigo 9º do GDPR, e o tratamento para pesquisa científica se apoia nas salvaguardas do artigo 89. No Brasil, o dado referente à saúde é dado pessoal sensível (art. 5º, II, da LGPD), e seu tratamento para a realização de estudos por órgão de pesquisa é admitido pelo art. 11, II, "c", garantida, sempre que possível, a anonimização. Se algum dia fossem necessários registros individuais, os dados de saúde dos EUA trariam os padrões de desidentificação da HIPAA Privacy Rule e, para um conjunto limitado de dados, um acordo de uso de dados (orientação do HHS). O Spillover Study evita totalmente os registros individuais — a minimização de dados é a salvaguarda ética mais forte disponível.

3.4.2 Riscos próprios dos estudos de infraestrutura

Os princípios do Menlo Report — respeito às pessoas, beneficência, justiça e respeito à lei e ao interesse público — estruturam a análise de riscos. Neste estudo, os principais riscos são:

• Para os entrevistados: serem culpados por decisões tomadas durante o incidente; revelação da identidade pela combinação de função e organização (há um único supervisor de operações do EMS em Tamsin Valley); consequências profissionais por criticar um empregador ou um hospital vizinho.
• Para as organizações: dano à reputação ("Alder Point não deu conta"); exposição regulatória; revelação de fraquezas de segurança no Kestrel.
• Para o público: uma constatação publicada como "os DEs desta região perdem um quarto de sua capacidade ociosa quando um sistema desvia" poderia, combinada com outras informações, ajudar um adversário a escolher um alvo que maximize o dano regional. O teste de sensibilidade da informação do livro de doutorado se aplica: um artefato identifica um ativo específico, sua vulnerabilidade ou sua dependência de uma forma que ajudaria alguém a danificá-lo?
• Para o pesquisador: pressão dos parceiros para suavizar os resultados; acesso a informações para cujo manuseio o pesquisador não foi treinado.

3.4.3 Salvaguardas

3.4.4 A submissão

Uma submissão típica contém: a pergunta e seu benefício; o desenho e as fontes de dados; o recrutamento, o consentimento e a desistência; os riscos e as salvaguardas; o manuseio, o armazenamento, a retenção e a destruição dos dados; a divulgação; os conflitos de interesse; e a formação do pesquisador. Anexe o roteiro de entrevista, a folha de informações, o termo de consentimento e os acordos de dados. Escreva para um membro do comitê que não é especialista em segurança: explique em linguagem simples por que uma constatação sobre a capacidade regional é sensível.

3.5 Acordos de dados e o plano de gestão de dados

Antes que qualquer dado se mova, coloque por escrito: quais dados, em que nível de agregação, para qual período; a limitação da finalidade; o local de armazenamento e o acesso; a retenção e a destruição; a revisão antes da publicação (apenas revisão factual e de informações protegidas, dentro de um número fixo de dias, sem veto); o reconhecimento e a autoria; e a notificação de violações. Um plano de gestão de dados registra então, para cada ativo de dados, sua fonte, seu nível de sensibilidade, seu formato, seu local, quem pode acessá-lo, a retenção e o que pode ser compartilhado no fim. Use os níveis de sensibilidade de forma consistente em todo o projeto:

3.6 Um projeto reprodutível desde o primeiro dia

A reprodutibilidade é mais fácil de construir do que de adaptar depois. Sandve et al. (2013) dão dez regras, entre elas: registrar como cada resultado foi produzido; evitar a manipulação manual dos dados; arquivar as versões exatas dos programas externos; colocar os scripts próprios sob controle de versões; registrar os resultados intermediários; e anotar as sementes dos processos aleatórios. O manual comunitário The Turing Way desdobra essas regras em prática. Os princípios FAIR — localizáveis, acessíveis, interoperáveis, reutilizáveis — se aplicam ao que pode ser compartilhado; para dados restritos, metadados FAIR podem descrever um conjunto de dados que não pode ser liberado.

Uma estrutura mínima:

spillover-study/
  README.md            question, how to run everything, environment, contacts
  data/raw/            read-only copies as received (restricted; never in version control)
  data/derived/        produced only by scripts
  code/01_audit.py     numbered in execution order
  code/02_build.py
  code/03_analysis.py
  output/              tables and figures, regenerated by scripts
  docs/codebook.md     every variable: source, definition, unit, missing-value code
  docs/deviations.md   every change to the plan, dated, with reason and whether results had been seen
  docs/environment.txt Python version and package versions

Um plano de pré-análise fixa, antes que os dados de desfecho sejam examinados: os estimandos, os desfechos primário e secundários, as unidades de comparação, as janelas, o modelo, o método dos intervalos, as verificações de robustez e como os desvios serão relatados. Registrá-lo com carimbo de tempo — por exemplo, nos OSF Registries — torna o plano verificável; Nosek et al. (2018) descrevem por que o pré-registro distingue a previsão da pós-dição. Num estudo observacional, os dados podem já existir, então declare com honestidade o que tinha sido visto quando o plano foi registrado (por exemplo, "os dados pré-evento de um DE foram examinados durante o piloto apenas quanto à completude").

3.7 Exemplo resolvido: as perguntas do comitê de ética (sintético)

O comitê devolveu a primeira submissão do candidato com cinco perguntas. As respostas do candidato:

A submissão foi aprovada com uma condição: o termo de consentimento tinha de declarar que o pesquisador não é empregado de nenhuma organização participante e não compartilhará com elas dados identificáveis.

3.8 Erros comuns e limites

• Escolher um desenho antes e depois porque os dados são fáceis e depois alegar um efeito causal.
• Usar uma ITS não controlada quando um choque compartilhado (estação do ano, epidemia, política) é plausível.
• Presumir tendências paralelas sem inspecionar as trajetórias pré-evento.
• Executar um cálculo de poder com um tamanho de efeito escolhido para fazer o estudo parecer adequado, em vez de um menor efeito de interesse ligado a uma decisão.
• Acreditar que mais dados de linha de base sempre reduzem o viés; com uma tendência ou uma mudança sazonal, eles podem aumentá-lo.
• Enviar uma submissão ao comitê de ética que trate os dados agregados de infraestrutura como isentos de risco.
• Concordar com uma revisão pelos parceiros sem prazo e sem uma cláusula de "nenhum veto sobre as constatações".
• Montar a reprodutibilidade no fim; edições manuais nos arquivos de dados que nenhum script registra.
• Registrar um plano de pré-análise sem declarar quais dados já tinham sido vistos.

O limite do desenho é que ele só consegue reduzir, e não eliminar, a dependência de pressupostos não testáveis. Uma ITS controlada só é crível se a região de comparação não tiver sofrido um choque diferente ao mesmo tempo; o Capítulo 4 testa esse pressuposto até onde os dados permitem.

Exercícios — capítulo 3

EX015 — Escolha e defenda um desenho. Objetivo: selecionar um desenho pelos pressupostos e pelos dados. Insumos: os desenhos de §3.1.1; um cenário em que um processador regional de pagamentos sofreu uma interrupção de três dias e você tem as contagens semanais de transações com cartão de 40 categorias de comércio na região afetada e em três regiões não afetadas, ao longo de dois anos. Restrições: um desenho primário e um desenho de robustez. Passos: (1) declarar o estimando; (2) comparar pelo menos três desenhos quanto ao pressuposto, aos dados e à fraqueza; (3) escolher; (4) dizer o que faria você abandonar a escolha. Evidência esperada: uma página. Rubrica: 3 = consequência da resolução semanal para um evento de três dias reconhecida, pressupostos de tendências paralelas ou do conjunto de doadores declarados e verificáveis, condição de abandono concreta; 2 = um desenho mal descrito; 1 = sem pressupostos; 0 = nada.

EX016 — Análise do desenho. Objetivo: encontrar o menor efeito de transbordamento que um desenho antes e depois controlado consegue detectar de forma confiável e reenquadrar a RQ1 para se ajustar a esse poder. Insumos: código do Laboratório 3. Restrições: off-line; manter a semente 11 e as 400 simulações. Passos: (1) executar o laboratório e registrar a saída; (2) acrescentar um efeito verdadeiro de 0,20 e relatar a parcela sinalizada do desenho controlado para 28, 90 e 180 dias de linha de base sob o aumento sazonal; (3) declarar o menor efeito que o desenho controlado detecta em pelo menos cerca de três quartos dos estudos com 180 dias; (4) reescrever a RQ1 como uma pergunta de estimação que este desenho consiga responder com honestidade. Evidência esperada: saídas, uma frase sobre os efeitos detectáveis, RQ1 revisada. Rubrica: 3 = valores corretos, efeito detectável declarado como cerca de 20%, e não 10%, RQ1 reenquadrada para a estimação; 2 = um valor errado; 1 = não executado; 0 = nada.

EX017 — Riscos na submissão ao comitê de ética. Objetivo: identificar e mitigar riscos. Insumos: um estudo que entrevista operadores de concessionárias de água sobre uma interrupção do sistema de desinfecção numa concessionária pequena. Restrições: usar os quatro princípios do Menlo; pelo menos cinco partes interessadas. Passos: (1) listar as partes interessadas e os riscos; (2) propor salvaguardas; (3) identificar o risco de sensibilidade da informação específico de uma concessionária pequena; (4) redigir as duas frases da folha de informações sobre os limites da confidencialidade. Evidência esperada: tabela e texto redigido. Rubrica: 3 = risco de identificação numa população pequena reconhecido, risco de definição de alvos pelo público tratado, salvaguardas concretas, texto da folha de informações honesto quanto aos limites; 2 = um princípio ralo; 1 = genérico; 0 = nada.

EX018 — Plano de gestão de dados. Objetivo: classificar e manusear os dados por nível. Insumos: os ativos do Spillover Study: contagens diárias dos custodiantes; contagens de Wexmoor de um painel público; gravações das entrevistas; transcrições; livro de códigos; código de análise; termos de consentimento; os limiares de ajuda mútua da coalizão. Restrições: os três níveis de §3.5. Passos: atribuir a cada um nível, armazenamento, acesso, retenção e compartilhamento no fim do projeto. Evidência esperada: tabela. Rubrica: 3 = níveis consistentes com a sensibilidade (gravações e termos de consentimento confidenciais, contagens dos custodiantes restritas, código e livro de códigos públicos), dados do painel público tratados segundo seus termos, limiares de ajuda mútua tratados como sensíveis; 2 = um mal atribuído; 1 = tudo público ou tudo confidencial; 0 = nada.

EX019 — Plano de pré-análise. Objetivo: fixar a análise antes que os desfechos sejam vistos. Insumos: §3.1.2 e os estimandos do Capítulo 1. Restrições: no máximo duas páginas. Passos: especificar os estimandos, os desfechos (primário e secundários), a comparação, as janelas, o modelo, o método dos intervalos, as verificações de robustez, o tratamento da multiplicidade e a regra dos desvios; declarar quais dados tinham sido vistos no registro. Evidência esperada: plano. Rubrica: 3 = cada elemento específico o bastante para que outro analista produza a mesma estimativa, regra dos desvios explícita, acesso prévio aos dados declarado; 2 = um elemento vago; 1 = modelo não especificado; 0 = nada.

EX020 — Auditoria da reprodutibilidade. Objetivo: testar se um projeto pode ser reexecutado. Insumos: uma pasta com os laboratórios dos Capítulos 1 e 3 e suas saídas. Restrições: uma segunda pessoa o reexecuta apenas a partir do README. Passos: (1) escrever o README; (2) registrar o ambiente; (3) pedir a outra pessoa que o reexecute; (4) listar cada ponto em que ela precisou perguntar algo a você e corrigi-lo. Evidência esperada: README, arquivo de ambiente e uma lista de problemas com as correções. Rubrica: 3 = a reexecução teve sucesso com saídas idênticas e cada pergunta foi respondida no README; 2 = resta um passo manual; 1 = saídas diferentes sem explicação; 0 = nada.

Síntese do capítulo

Um evento de infraestrutura não planejado não oferece aleatorização, então todo desenho é uma aproximação de um contrafactual, e sua credibilidade se apoia em pressupostos que você precisa declarar. Uma série temporal interrompida controlada remove os choques sazonais compartilhados que um antes e depois ou uma ITS não controlada atribuiriam ao evento; as entrevistas fornecem o mecanismo. Associe cada ameaça à validade a uma característica do desenho, ou admita-a. Simule o desenho antes do acesso aos dados: o Laboratório 3 mostra que um aumento sazonal compartilhado torna um desenho não controlado confiantemente errado — e mais ainda com linhas de base mais longas —, enquanto o desenho controlado é quase não enviesado, mas impreciso demais para detectar um efeito de 10% num único DE. Enquadre o estudo como estimação. A revisão ética precisa cobrir os entrevistados, as organizações e o público, porque as constatações sobre a capacidade regional podem ser sensíveis. Os acordos, os níveis e um projeto reprodutível com um plano de pré-análise registrado vêm antes do primeiro arquivo de dados.

Continue estudando — capítulo 03 de 08

← Capítulo 02 · Índice de capítulos do curso · Capítulo 04 →

Siga para a próxima lição escrita.