Capítulo 33 — Métodos de pesquisa II

Capítulo 33 — Métodos de pesquisa II

Mapa da aula

Aula 33 publicada. Mapa, exemplo, EX097.

flowchart TD
  N0["33.1 Analisar os dados"]
  N1["Laboratório — Difference-in-differences nas taxas de"]
  N2["33.2 Ameaças à validade"]
  N3["33.3 Relatar com cautela"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX097"]

Desenho lógico

flowchart LR
  N0["33.1 Analisar os dados"]
  N1["Laboratório — Difference-in-differences nas taxas de"]
  N2["33.2 Ameaças à validade"]
  N3["33.3 Relatar com cautela"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX097"]

[33.1 Analisar os dados]
    |
    v
[Laboratório — Difference-in-differences nas taxas de]
    |
    v
[33.2 Ameaças à validade]
    |
    v
[33.3 Relatar com cautela]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX097]

Objetivos de aprendizagem

Você vai (1) analisar os dados do quase-experimento do capítulo 18; (2) tratar as ameaças à validade; (3) relatar os achados com a cautela adequada.

33.1 Analisar os dados

Lucas coleta seis meses de contagens agregadas do botão de denúncia. As lojas que receberam as orientações mostram uma taxa mensal de denúncias por funcionário antes e depois das orientações; as lojas de comparação mostram o mesmo nos mesmos meses. Ele calcula a variação em cada grupo e a diferença entre essas variações, um difference-in-differences simples. O laboratório abaixo executa o cálculo sobre as contagens sintéticas. As lojas orientadas subiram mais do que as de comparação, o que sugere que as orientações ajudaram, embora a estimativa dependa da suposição de que os dois grupos, de outro modo, teriam seguido tendências semelhantes.

Laboratório — Difference-in-differences nas taxas de denúncia

# Difference-in-differences on report rates (reports per staff per month), synthetic.
briefed = {"before": [0.20, 0.25, 0.22], "after": [0.55, 0.58, 0.51]}
compare = {"before": [0.21, 0.19, 0.24], "after": [0.27, 0.25, 0.22]}
m = lambda xs: sum(xs) / len(xs)
db = m(briefed["after"]) - m(briefed["before"]); dc = m(compare["after"]) - m(compare["before"])
print(f"briefed change {db:+.2f}, comparison change {dc:+.2f}, difference-in-differences {db - dc:+.2f}")

Execute com python3 lab_did.py. Saída verificada:

briefed change +0.32, comparison change +0.03, difference-in-differences +0.29

33.2 Ameaças à validade

Lucas usa as categorias de Wohlin e colegas (2012). Validade interna: as lojas orientadas foram escolhidas pelos gerentes regionais, talvez porque já fossem engajadas. Validade de construto: o uso do botão de denúncia mede a disposição de denunciar, e não a capacidade de detectar. Validade externa: as lojas da Fernway podem diferir das de outros varejistas. Validade de conclusão: com poucas lojas, o resultado pode surgir por acaso. Ele trata algumas ameaças verificando que as tendências anteriores às orientações eram semelhantes e declara as demais abertamente, em vez de escondê-las num apêndice. Cada ameaça é listada com a provável direção do viés.

33.3 Relatar com cautela

Lucas escreve que as lojas orientadas mostraram uma alta maior nas denúncias do que as lojas de comparação, o que é consistente com um benefício das orientações, mas que o desenho não consegue descartar outras explicações. Ele recomenda uma implantação aleatorizada na próxima rodada, com as lojas designadas por sorteio, que a Fernway concorda em experimentar. Hannah usa o resultado cauteloso para manter as orientações enquanto o estudo mais forte acontece. O Dr. Bellini dá nota alta ao relatório por ajustar a força das afirmações à força das evidências.

Exemplo resolvido

Lucas executa um difference-in-differences sobre taxas sintéticas de denúncia, lista quatro ameaças à validade e relata um achado cauteloso com um acompanhamento aleatorizado.

Caso sintético. As contagens são sintéticas; Wohlin et al. (2012) é real.

Erros e limites

Poucas unidades tornam as estimativas instáveis. As tendências paralelas não podem ser provadas, apenas verificadas.

Exercícios

• EX097 — Resultado do DiD. Qual foi o difference-in-differences no laboratório? Rubrica: 3 = 0,29 denúncia por funcionário por mês;; 2 = positivo;; 1 = vago;; 0 = nenhuma.

• EX098 — Ameaça de construto. Que ameaça à validade de construto Lucas apontou? Rubrica: 3 = o uso do botão mede a disposição, e não a capacidade de detecção;; 2 = construto;; 1 = vago;; 0 = nenhuma.

• EX099 — Desenho mais forte. O que Lucas recomendou em seguida? Rubrica: 3 = implantação aleatorizada por sorteio;; 2 = aleatorizar;; 1 = vago;; 0 = nenhuma.

Síntese

A análise deve ajustar a força da afirmação à força do desenho e nomear abertamente as ameaças à validade.

Continue estudando — aula 33 (capítulo 33 de 40)

← Capítulo 32 · Índice das aulas · Capítulo 34 →

Continue para a próxima aula já escrita.