Capítulo 6 — Crítica por pares e revisão
Mapa da aula
Aula 06 publicada. Mapa, exemplo, EX033.
flowchart TD
N0["6.1 A crítica"]
N1["6.2 Testar alternativas"]
N2["6.3 Evitar p-hacking"]
N3["6.4 Relato ético"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX033"]
Desenho lógico
flowchart LR
N0["6.1 A crítica"]
N1["6.2 Testar alternativas"]
N2["6.3 Evitar p-hacking"]
N3["6.4 Relato ético"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX033"]
[6.1 A crítica]
|
v
[6.2 Testar alternativas]
|
v
[6.3 Evitar p-hacking]
|
v
[6.4 Relato ético]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX033]
Objetivos de aprendizagem
Você vai (1) responder à revisão por pares de um estudo de comportamento; (2) revisar análises sem p-hacking; (3) fortalecer o relato ético.
6.1 A crítica
Mireille submete um artigo e recebe três pareceres. Um revisor argumenta que mais reportes podem simplesmente refletir mais alarmes falsos, sobrecarregando a equipe de segurança. Outro pergunta se foram as mensagens de agradecimento, e não o botão, que causaram o efeito. Um terceiro questiona se a supervisão da comissão de representantes mudou o comportamento dos servidores ao torná-los cientes do estudo. O Prof. Aalto a aconselha a tratar cada comentário como uma hipótese a testar sempre que possível e a admitir com clareza quando seus dados não puderem responder. Ela escreve uma carta de resposta que lista cada comentário com a ação tomada.
6.2 Testar alternativas
Quanto aos alarmes falsos, Mireille reporta a proporção de reportes codificados como benignos antes e depois da mudança: ela subiu ligeiramente, e a etapa de triagem manteve estável o tempo de tratamento. Quanto ao mecanismo, ela não consegue separar o botão do retorno, porque os dois foram introduzidos juntos, e diz isso abertamente, propondo um estudo fatorial como trabalho futuro. Quanto à consciência do estudo, ela observa que os anúncios foram para todos os departamentos ao mesmo tempo, de modo que essa consciência não deveria variar conforme o momento da mudança. Cada resposta declara o que foi pré-registrado e o que é exploratório.
6.3 Evitar p-hacking
Os revisores sugerem análises adicionais de subgrupos por idade e por função. Mireille executa as que são razoáveis, mas as rotula como exploratórias e reporta todas, não apenas as interessantes. Ela não muda o desfecho primário nem a análise. Herley e van Oorschot (2017) alertam que a pesquisa em segurança muitas vezes carece da disciplina de afirmações falseáveis e especificadas de antemão; manter a distinção entre resultados confirmatórios e exploratórios é o que permite aos leitores confiar no achado principal. Ela também publica uma tabela curta que compara, linha a linha, o plano pré-registrado com o que foi efetivamente feito, para que qualquer desvio fique visível e explicado.
6.4 Relato ético
Um revisor pede mais detalhes sobre danos. Mireille acrescenta uma seção sobre como as simulações foram desenhadas para evitar sofrimento: nenhuma isca sobre cortes salariais, luto ou saúde; nenhuma isca se passando por sindicatos; e um canal claro para os servidores apresentarem reclamações. Ela relata as duas reclamações recebidas e como foram resolvidas. O relato ético em pesquisas com simulações mostra a leitores e organizações como repetir o trabalho sem causar dano, o que importa tanto quanto o tamanho do efeito. Ela também compartilha o procedimento completo de reclamações em um apêndice.
Exemplo resolvido
Mireille testa as explicações alternativas dos revisores, admite a questão do mecanismo, reporta com transparência os subgrupos exploratórios e amplia o relato ético.
Caso sintético. Os pareceres e os números são sintéticos; Herley e van Oorschot (2017) é real.
Erros e limites
Achados exploratórios podem ser ruído. Algumas preocupações dos revisores não podem ser resolvidas com os dados existentes.
Exercícios
- EX033 — Teste dos alarmes falsos. Como Mireille tratou a preocupação com alarmes falsos? Rubrica: 3 = a proporção benigna subiu pouco; a triagem manteve estável o tempo de tratamento;; 2 = dados;; 1 = vago;; 0 = nenhuma.
- EX034 — Limite do mecanismo. Por que ela não consegue separar o botão do retorno? Rubrica: 3 = foram introduzidos juntos;; 2 = confundidos;; 1 = vago;; 0 = nenhuma.
- EX035 — Desenho futuro. Que estudo ela propôs para a questão do mecanismo? Rubrica: 3 = um estudo fatorial;; 2 = fatorial;; 1 = vago;; 0 = nenhuma.
- EX036 — Tratamento dos subgrupos. Como as análises de subgrupos foram reportadas? Rubrica: 3 = todas reportadas e rotuladas como exploratórias;; 2 = exploratórias;; 1 = selecionadas;; 0 = nenhuma.
- EX037 — Temas de isca excluídos. Que temas de isca foram excluídos para evitar sofrimento? Rubrica: 3 = cortes salariais, luto, saúde e falsificação de sindicatos;; 2 = dois;; 1 = vago;; 0 = nenhuma.
- EX038 — Reclamações. Quantas reclamações foram relatadas? Rubrica: 3 = duas, com sua resolução;; 2 = duas;; 1 = vago;; 0 = nenhuma.
Síntese
Uma boa revisão testa alternativas, reconhece limites, separa o trabalho confirmatório do exploratório e relata a ética abertamente.
Continue estudando — aula 06 (capítulo 06 de 08)
← Capítulo 05 · Índice das aulas · Capítulo 07 →
Continue para a próxima aula já escrita.