## Capítulo 6 — Crítica por pares e revisão ### Mapa da aula Aula 06 publicada. Mapa, exemplo, EX036. ```mermaid flowchart TD N0["6.1 Convidando o leitor mais duro"] N1["6.2 A ICD 203 como lente"] N2["6.3 Respostas ponto a ponto"] N3["6.4 Substantivo versus cosmético"] N4["6.5 Hipóteses alternativas"] N5["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 N5 --> EX["Exemplo resolvido"] EX --> Q["Exercício EX036"] ``` ### Desenho lógico ```mermaid flowchart LR N0["6.1 Convidando o leitor mais duro"] N1["6.2 A ICD 203 como lente"] N2["6.3 Respostas ponto a ponto"] N3["6.4 Substantivo versus cosmético"] N4["6.5 Hipóteses alternativas"] N5["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX036"] ``` ```text [6.1 Convidando o leitor mais duro] | v [6.2 A ICD 203 como lente] | v [6.3 Respostas ponto a ponto] | v [6.4 Substantivo versus cosmético] | v [6.5 Hipóteses alternativas] | v [Síntese] | v [Exemplo resolvido] --> [Exercício EX036] ``` ### Objetivos de aprendizagem Você vai (1) solicitar uma crítica adversarial do próprio estudo; (2) aplicar os padrões de *tradecraft* da ICD 203 como lente de revisão; (3) responder aos revisores ponto a ponto; (4) distinguir as revisões que mudam conclusões das que melhoram a apresentação. ### 6.1 Convidando o leitor mais duro Uma banca de tese é amigável por definição. Os doutorandos também devem buscar um leitor de *red cell*: alguém encarregado de encontrar o pressuposto mais fraco. Na pesquisa sobre método de CTI, os pontos fracos clássicos são fontes de desfecho circulares, viés de seleção do corpus em direção a incidentes dramáticos e escalas de confiança mapeadas depois de ver os dados. O leitor de *red cell* de Tomas atacou um ponto que a banca não havia levantado: as afirmações confirmadas têm mais chance de receber acompanhamento público, o que infla a calibração aparente das afirmações prováveis. A resposta, uma análise de sensibilidade sob dois pressupostos sobre as afirmações sem resolução, mudou o resumo. ### 6.2 A ICD 203 como lente A ICD 203 pede que os produtos analíticos descrevam a qualidade das fontes, expressem a incerteza, separem informação de pressupostos e julgamentos, incorporem alternativas, mostrem relevância, argumentem com clareza, expliquem mudanças de julgamento, busquem exatidão e usem recursos visuais eficazes. Um artigo de pesquisa sobre CTI deveria atingir o mesmo padrão que mede. Tomas confronta seu rascunho com essa lista e descobre que nunca declarou como a própria conclusão mudaria se as fontes de desfecho fossem apenas metade tão independentes quanto o pressuposto. A correção aplica à própria conclusão o padrão da ICD 203 sobre a incerteza: a tese agora declara como a estimativa de calibração se move se as afirmações sem resolução forem tratadas primeiro como não confirmadas e depois como confirmadas, usando a análise de sensibilidade com dois pressupostos. ### 6.3 Respostas ponto a ponto Cada comentário de revisor recebe uma resposta numerada: aceito com alteração (cite a página), aceito parcialmente (explique) ou recusado (explique com evidência). O silêncio sobre um comentário soa como evasão. A resposta de Tomas ao comentário do leitor de *red cell* sobre o viés de acompanhamento seria "aceito com alteração": ela nomeia a análise de sensibilidade, os dois pressupostos sobre as afirmações sem resolução e a página em que aparecem os dois intervalos. Um leitor pode conferir a resposta contra a tese sem reler o capítulo inteiro. Quando um parceiro da comunidade lhe pediu que retirasse um resultado negativo, a resposta de Tomas foi "recusado", citando o plano de análise pré-registrado que exigia relatá-lo; a mudança de redação que o mesmo parceiro também pediu foi "aceito com alteração". ### 6.4 Substantivo versus cosmético Uma análise de sensibilidade que move o Brier principal de 0,17 para 0,21 é substantiva e precisa chegar ao resumo. Corrigir as fontes das figuras é cosmético. Candidatos que enterram mudanças substantivas em um apêndice perdem a confiança dos leitores. A análise de sensibilidade de Tomas é esse tipo de mudança. Tratar as afirmações sem resolução sob dois pressupostos produziu dois intervalos, e ambos foram para o resumo, porque um leitor que visse apenas o mais favorável avaliaria mal o quanto a conclusão depende do comportamento de acompanhamento. A correção das fontes das figuras vai para o registro de alterações e para nenhum outro lugar, enquanto a mudança do Brier aparece na carta de resposta como a primeira mudança substantiva. ### 6.5 Hipóteses alternativas A análise de hipóteses concorrentes, discutida por Heuer, pergunta que evidência é inconsistente com cada explicação, em vez de qual é consistente com a favorita. Uma rodada de crítica é um bom momento para listar alternativas: por exemplo, que o excesso de confiança aparente reflita um relato seletivo de acompanhamento, e não uma má calibração dos analistas. Tomas lista essa alternativa explicitamente. A evidência inconsistente com ela seriam taxas de acompanhamento semelhantes para afirmações confirmadas e não confirmadas; a análise de sensibilidade é a maneira dele de mostrar quanto a conclusão muda se a alternativa for verdadeira. ### Exemplo resolvido O leitor de *red cell* argumenta que as afirmações confirmadas têm mais chance de receber acompanhamento público, inflando a calibração aparente das afirmações prováveis. Tomas acrescenta uma análise de sensibilidade que trata as afirmações sem resolução sob dois pressupostos e relata ambos os intervalos no resumo. > **Caso sintético.** A crítica do *red cell* e os intervalos de sensibilidade são inventados. ### Erros e limites A crítica não é pessoal; nem todo comentário está correto. Defenda-se com evidência, não com senioridade. ### Exercícios - **EX036 — Alvo do red cell.** Cite dois pressupostos que um leitor de red cell deveria atacar primeiro no desenho de Tomas. *Rubrica:* 3 = dois entre independência dos desfechos / seleção do corpus / mapeamento da escala a posteriori / viés de acompanhamento; 2 = um; 1 = erros de digitação; 0 = nenhum. - **EX037 — Padrão ausente.** Que elemento da ICD 203 o rascunho de Tomas não cumpria antes da revisão? *Rubrica:* 3 = expressar a incerteza/sensibilidade da própria conclusão aos pressupostos; 2 = incerteza vaga; 1 = recursos visuais; 0 = nenhum. - **EX038 — Tipos de resposta.** Liste as três categorias aceitáveis de resposta a um comentário de revisor. *Rubrica:* 3 = aceito com alteração, aceito parcialmente, recusado com motivos; 2 = duas; 1 = ignorar; 0 = nenhuma. - **EX039 — Teste do substantivo.** Uma reanálise move o Brier de 0,17 para 0,21. Onde isso precisa aparecer? *Rubrica:* 3 = resumo/resultados principais + explicação; 2 = apenas nos resultados; 1 = apenas no apêndice; 0 = nenhum. - **EX040 — História concorrente.** Enuncie uma explicação alternativa para o excesso de confiança aparente na faixa do topo. *Rubrica:* 3 = alternativa plausível (acompanhamento seletivo, viés das fontes de desfecho, k pequeno); 2 = vaga; 1 = tentativa mínima; 0 = nenhuma. - **EX041 — Movimento da ACH.** Na análise de hipóteses concorrentes de Heuer, que evidência importa mais? *Rubrica:* 3 = a evidência inconsistente com as hipóteses (que refuta); 2 = evidência diagnóstica, de forma vaga; 1 = evidência consistente; 0 = nenhuma. - **EX042 — Recuse bem.** Escreva uma recusa de uma frase a um revisor que pede os nomes reais das vítimas. *Rubrica:* 3 = recusa citando ética/TLP/proteção de dados; oferece alternativa agregada; 2 = apenas recusa; 1 = atende ao pedido; 0 = nenhuma. ### Síntese Convide a leitura hostil, cobre de si mesmo o padrão da ICD 203, responda a todo comentário, leve as mudanças substantivas para a frente e teste as alternativas pela refutação. ### Continue estudando — capítulo 06 de 08 [← Capítulo 05 (rascunho)](#ch-05) · [Índice de capítulos do curso](../SUBJECTS.md) · [Capítulo 07 (rascunho) →](#ch-07) ## Worked answers **EX036.** Quaisquer dois entre: independência das fontes de desfecho, seleção do corpus em direção a incidentes dramáticos, mapeamento da escala de confiança depois de ver os desfechos, acompanhamento público seletivo. **EX037.** Expressar a incerteza: o rascunho não mostrava como a conclusão dependia do pressuposto de independência, de modo que não se dava a sensibilidade do julgamento principal. **EX038.** Aceito com alteração (com a localização), aceito parcialmente (com explicação), recusado (com motivos baseados em evidência). **EX039.** No resumo e nos resultados principais, com uma explicação de que pressuposto causou a mudança. **EX040.** Exemplo: as afirmações que se revelaram verdadeiras recebem acompanhamento público com mais frequência, de modo que os itens sem resolução são desproporcionalmente falsos, distorcendo a faixa do topo. **EX041.** A evidência inconsistente com uma hipótese — a evidência que refuta é a mais diagnóstica. **EX042.** "Não podemos nomear as vítimas porque as fontes são restritas por TLP e contêm dados pessoais e organizacionais; em vez disso, fornecemos contagens agregadas por setor."