Capítulo 6 — Crítica por pares e revisão | Pesquisa doutoral Inteligência de ameaças e OSINT

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX036.

flowchart TD
  N0["6.1 Convidando o leitor mais duro"]
  N1["6.2 A ICD 203 como lente"]
  N2["6.3 Respostas ponto a ponto"]
  N3["6.4 Substantivo versus cosmético"]
  N4["6.5 Hipóteses alternativas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX036"]

Desenho lógico

flowchart LR
  N0["6.1 Convidando o leitor mais duro"]
  N1["6.2 A ICD 203 como lente"]
  N2["6.3 Respostas ponto a ponto"]
  N3["6.4 Substantivo versus cosmético"]
  N4["6.5 Hipóteses alternativas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX036"]

[6.1 Convidando o leitor mais duro]
    |
    v
[6.2 A ICD 203 como lente]
    |
    v
[6.3 Respostas ponto a ponto]
    |
    v
[6.4 Substantivo versus cosmético]
    |
    v
[6.5 Hipóteses alternativas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX036]

Objetivos de aprendizagem

Você vai (1) solicitar uma crítica adversarial do próprio estudo; (2) aplicar os padrões de tradecraft da ICD 203 como lente de revisão; (3) responder aos revisores ponto a ponto; (4) distinguir as revisões que mudam conclusões das que melhoram a apresentação.

6.1 Convidando o leitor mais duro

Uma banca de tese é amigável por definição. Os doutorandos também devem buscar um leitor de red cell: alguém encarregado de encontrar o pressuposto mais fraco. Na pesquisa sobre método de CTI, os pontos fracos clássicos são fontes de desfecho circulares, viés de seleção do corpus em direção a incidentes dramáticos e escalas de confiança mapeadas depois de ver os dados. O leitor de red cell de Tomas atacou um ponto que a banca não havia levantado: as afirmações confirmadas têm mais chance de receber acompanhamento público, o que infla a calibração aparente das afirmações prováveis. A resposta, uma análise de sensibilidade sob dois pressupostos sobre as afirmações sem resolução, mudou o resumo.

6.2 A ICD 203 como lente

A ICD 203 pede que os produtos analíticos descrevam a qualidade das fontes, expressem a incerteza, separem informação de pressupostos e julgamentos, incorporem alternativas, mostrem relevância, argumentem com clareza, expliquem mudanças de julgamento, busquem exatidão e usem recursos visuais eficazes. Um artigo de pesquisa sobre CTI deveria atingir o mesmo padrão que mede. Tomas confronta seu rascunho com essa lista e descobre que nunca declarou como a própria conclusão mudaria se as fontes de desfecho fossem apenas metade tão independentes quanto o pressuposto.

A correção aplica à própria conclusão o padrão da ICD 203 sobre a incerteza: a tese agora declara como a estimativa de calibração se move se as afirmações sem resolução forem tratadas primeiro como não confirmadas e depois como confirmadas, usando a análise de sensibilidade com dois pressupostos.

6.3 Respostas ponto a ponto

Cada comentário de revisor recebe uma resposta numerada: aceito com alteração (cite a página), aceito parcialmente (explique) ou recusado (explique com evidência). O silêncio sobre um comentário soa como evasão. A resposta de Tomas ao comentário do leitor de red cell sobre o viés de acompanhamento seria "aceito com alteração": ela nomeia a análise de sensibilidade, os dois pressupostos sobre as afirmações sem resolução e a página em que aparecem os dois intervalos. Um leitor pode conferir a resposta contra a tese sem reler o capítulo inteiro. Quando um parceiro da comunidade lhe pediu que retirasse um resultado negativo, a resposta de Tomas foi "recusado", citando o plano de análise pré-registrado que exigia relatá-lo; a mudança de redação que o mesmo parceiro também pediu foi "aceito com alteração".

6.4 Substantivo versus cosmético

Uma análise de sensibilidade que move o Brier principal de 0,17 para 0,21 é substantiva e precisa chegar ao resumo. Corrigir as fontes das figuras é cosmético. Candidatos que enterram mudanças substantivas em um apêndice perdem a confiança dos leitores. A análise de sensibilidade de Tomas é esse tipo de mudança. Tratar as afirmações sem resolução sob dois pressupostos produziu dois intervalos, e ambos foram para o resumo, porque um leitor que visse apenas o mais favorável avaliaria mal o quanto a conclusão depende do comportamento de acompanhamento. A correção das fontes das figuras vai para o registro de alterações e para nenhum outro lugar, enquanto a mudança do Brier aparece na carta de resposta como a primeira mudança substantiva.

6.5 Hipóteses alternativas

A análise de hipóteses concorrentes, discutida por Heuer, pergunta que evidência é inconsistente com cada explicação, em vez de qual é consistente com a favorita. Uma rodada de crítica é um bom momento para listar alternativas: por exemplo, que o excesso de confiança aparente reflita um relato seletivo de acompanhamento, e não uma má calibração dos analistas. Tomas lista essa alternativa explicitamente. A evidência inconsistente com ela seriam taxas de acompanhamento semelhantes para afirmações confirmadas e não confirmadas; a análise de sensibilidade é a maneira dele de mostrar quanto a conclusão muda se a alternativa for verdadeira.

Exemplo resolvido

O leitor de red cell argumenta que as afirmações confirmadas têm mais chance de receber acompanhamento público, inflando a calibração aparente das afirmações prováveis. Tomas acrescenta uma análise de sensibilidade que trata as afirmações sem resolução sob dois pressupostos e relata ambos os intervalos no resumo.

Caso sintético. A crítica do red cell e os intervalos de sensibilidade são inventados.

Erros e limites

A crítica não é pessoal; nem todo comentário está correto. Defenda-se com evidência, não com senioridade.

Exercícios

EX036 — Alvo do red cell. Cite dois pressupostos que um leitor de red cell deveria atacar primeiro no desenho de Tomas.
Mostrar critérios de avaliação
Rubrica: 3 = dois entre independência dos desfechos / seleção do corpus / mapeamento da escala a posteriori / viés de acompanhamento; 2 = um; 1 = erros de digitação; 0 = nenhum.
EX037 — Padrão ausente. Que elemento da ICD 203 o rascunho de Tomas não cumpria antes da revisão?
Mostrar critérios de avaliação
Rubrica: 3 = expressar a incerteza/sensibilidade da própria conclusão aos pressupostos; 2 = incerteza vaga; 1 = recursos visuais; 0 = nenhum.
EX038 — Tipos de resposta. Liste as três categorias aceitáveis de resposta a um comentário de revisor.
Mostrar critérios de avaliação
Rubrica: 3 = aceito com alteração, aceito parcialmente, recusado com motivos; 2 = duas; 1 = ignorar; 0 = nenhuma.
EX039 — Teste do substantivo. Uma reanálise move o Brier de 0,17 para 0,21. Onde isso precisa aparecer?
Mostrar critérios de avaliação
Rubrica: 3 = resumo/resultados principais + explicação; 2 = apenas nos resultados; 1 = apenas no apêndice; 0 = nenhum.
EX040 — História concorrente. Enuncie uma explicação alternativa para o excesso de confiança aparente na faixa do topo.
Mostrar critérios de avaliação
Rubrica: 3 = alternativa plausível (acompanhamento seletivo, viés das fontes de desfecho, k pequeno); 2 = vaga; 1 = tentativa mínima; 0 = nenhuma.
EX041 — Movimento da ACH. Na análise de hipóteses concorrentes de Heuer, que evidência importa mais?
Mostrar critérios de avaliação
Rubrica: 3 = a evidência inconsistente com as hipóteses (que refuta); 2 = evidência diagnóstica, de forma vaga; 1 = evidência consistente; 0 = nenhuma.
EX042 — Recuse bem. Escreva uma recusa de uma frase a um revisor que pede os nomes reais das vítimas.
Mostrar critérios de avaliação
Rubrica: 3 = recusa citando ética/TLP/proteção de dados; oferece alternativa agregada; 2 = apenas recusa; 1 = atende ao pedido; 0 = nenhuma.

Síntese

Convide a leitura hostil, cobre de si mesmo o padrão da ICD 203, responda a todo comentário, leve as mudanças substantivas para a frente e teste as alternativas pela refutação.

Continue estudando — capítulo 06 de 08

← Capítulo 05 (rascunho) · Índice de capítulos do curso · Capítulo 07 (rascunho) →