Capítulo 3 — Desenho do estudo, ética e reprodutibilidade
Mapa da aula
Aula 03 publicada. Mapa, exemplo, EX015.
flowchart TD
N0["3.1 Escolhendo o desenho"]
N1["3.2 Verificando as suposições"]
N2["3.3 Ética"]
N3["3.4 Análise reproduzível"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX015"]
Desenho lógico
flowchart LR
N0["3.1 Escolhendo o desenho"]
N1["3.2 Verificando as suposições"]
N2["3.3 Ética"]
N3["3.4 Análise reproduzível"]
N0 --> N1 --> N2 --> N3 --> Q["EX015"]
[3.1 Escolhendo o desenho]
|
v
[3.2 Verificando as suposições]
|
v
[3.3 Ética]
|
v
[3.4 Análise reproduzível]
|
v
[Exemplo resolvido] --> [Exercício EX015]
Objetivos de aprendizagem
Você vai (1) desenhar uma avaliação quase experimental; (2) tratar da ética na pesquisa em ambiente de trabalho; (3) planejar uma análise reproduzível.
3.1 Escolhendo o desenho
A prefeitura não vai sortear quais departamentos recebem curadores; ela já escolheu tributação imobiliária e coleta de lixo. Por isso, Tomás usa um desenho de diferenças em diferenças. Ele compara a variação dos tempos de correção nos dois departamentos com curadores com a variação nos três departamentos de comparação no mesmo período. O desenho elimina diferenças estáveis entre departamentos e tendências comuns, como uma atualização de software em toda a prefeitura, desde que os departamentos tivessem seguido tendências paralelas sem o piloto. Ele não elimina mudanças que afetam apenas um grupo, como a chegada de um novo gerente na tributação.
3.2 Verificando as suposições
Tomás examina doze meses de tempos de correção anteriores ao piloto em uma réplica sintética construída a partir dos números agregados que a prefeitura publica. As tendências dos dois grupos parecem semelhantes, o que apoia a suposição de tendências paralelas, embora não a prove. Ele também lista ameaças: os departamentos com curadores podem receber atenção extra, a rotatividade de pessoal pode ser diferente e uma mudança na forma de notificar pode alterar quais erros são registrados. Ele planeja verificar cada ameaça com registros da prefeitura e entrevistas, em vez de simplesmente descartá-la. Cada ameaça ganha uma verificação.
3.3 Ética
O estudo envolve servidores da prefeitura, cujo desempenho pode parecer estar sendo julgado. O protocolo ético de Tomás declara que ele analisa apenas tempos no nível do departamento, nunca o desempenho individual, e que os entrevistados são anônimos e podem desistir. Os endereços dos moradores não são usados; a réplica contém endereços sintéticos com os mesmos padrões de erro. O encarregado de proteção de dados da prefeitura confirma que nenhum dado pessoal sai do órgão. A Dra. Solberg observa que a pesquisa em ambiente de trabalho exige cuidado especial, porque as diferenças de poder tornam difícil recusar. A participação é voluntária.
3.4 Análise reproduzível
Tomás escreve o plano de análise antes de coletar dados: o estimador, o método do intervalo de confiança, o número de reamostragens do bootstrap e o limiar de relevância prática, que ele fixa em cinco dias. Todo o código usa a biblioteca padrão do Python, sementes aleatórias fixas e controle de versão. Ele registra o plano com data, para não poder mudar depois o desfecho ou o limiar ao ver os resultados. A reprodutibilidade, observa ele, é especialmente importante em estudos de governança que prefeituras podem usar para justificar gastos com novos cargos.
Exemplo resolvido
Tomás escolhe diferenças em diferenças, verifica as tendências anteriores ao piloto em uma réplica sintética, lista ameaças, limita a análise ao nível do departamento por razões éticas e fixa um plano de análise com limiar de relevância de cinco dias.
Caso sintético. O desenho é sintético.
Erros e limites
Tendências paralelas podem valer antes e falhar depois; fique atento a novos eventos.
Exercícios
- EX015 — Por que não sortear. Por que Tomás não pode sortear? Rubrica: 3 = a prefeitura escolheu os departamentos do piloto;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
- EX016 — Nome do desenho. Que desenho Tomás usa? Rubrica: 3 = diferenças em diferenças;; 2 = parcialmente correto;; 1 = outro;; 0 = nenhuma.
- EX017 — Suposição-chave. De que suposição o desenho depende? Rubrica: 3 = tendências paralelas;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.
- EX018 — Exemplo de ameaça. Cite uma ameaça ao desenho. Rubrica: 3 = atenção extra, diferença de rotatividade, mudança na notificação;; 2 = uma;; 1 = vago;; 0 = nenhuma.
- EX019 — Nível ético. Em que nível o desempenho é analisado? Rubrica: 3 = somente no nível do departamento;; 2 = parcialmente correto;; 1 = individual;; 0 = nenhuma.
- EX020 — Limiar de relevância. Que limiar de relevância prática foi fixado? Rubrica: 3 = cinco dias;; 2 = parcialmente correto;; 1 = errado;; 0 = nenhuma.
Continue estudando — aula 03 (capítulo 03 de 08)
← Capítulo 02 · Índice das aulas · Capítulo 04 →
Continue para a próxima aula já escrita.