Capítulo 6 — Crítica por pares e revisão

Capítulo 6 — Crítica por pares e revisão

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 A crítica"]
  N1["6.2 Poder"]
  N2["6.3 Comparador e mecanismo"]
  N3["6.4 Afirmações revisadas"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 A crítica"]
  N1["6.2 Poder"]
  N2["6.3 Comparador e mecanismo"]
  N3["6.4 Afirmações revisadas"]
  N0 --> N1 --> N2 --> N3 --> Q["EX033"]

[6.1 A crítica]
    |
    v
[6.2 Poder]
    |
    v
[6.3 Comparador e mecanismo]
    |
    v
[6.4 Afirmações revisadas]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) responder a uma revisão crítica por pares; (2) revisar a análise e as afirmações sem mudar os resultados confirmatórios; (3) separar os achados exploratórios dos confirmatórios.

6.1 A crítica

Yusuf apresenta um rascunho de artigo num seminário do departamento e o submete a um workshop. Os revisores levantam três pontos. Primeiro, o estudo pode ter poder insuficiente: com tanta variação, um efeito de três dias muitas vezes passaria despercebido. Segundo, os departamentos de comparação incluem a companhia de água, cujas correções são limitadas por testes de segurança operacional, o que a torna um mau comparador. Terceiro, o artigo não explica o que a correção ordenada pelo risco mudou na prática, então os leitores não conseguem saber o que de fato foi testado. Yusuf registra cada ponto com uma resposta planejada antes de revisar.

6.2 Poder

Yusuf executa uma simulação, gerando dados sintéticos com um efeito verdadeiro de três dias e a dispersão observada, e conta com que frequência seu desenho o detecta. A detecção fica bem abaixo da meta convencional de oitenta por cento. Ele acrescenta isso ao artigo, declarando que o estudo não conseguiria detectar com confiabilidade efeitos do tamanho observado. Ele recomenda que estudos futuros reúnam várias organizações. A Prof.ª Hald observa que relatar o poder depois de um resultado inconclusivo ajuda os leitores a não concluírem que a prática não tem efeito. Na simulação, a detecção ocorre em cerca de trinta por cento das vezes.

6.3 Comparador e mecanismo

Quanto ao comparador, Yusuf executa uma análise de sensibilidade que exclui a companhia de água, rotulada claramente como exploratória porque não foi pré-registrada. A estimativa muda um pouco, mas o intervalo ainda inclui o zero. Quanto ao mecanismo, ele acrescenta uma seção que descreve o que mudou: as vulnerabilidades foram pontuadas segundo a categoria de cada sistema no estilo da FIPS 199, os sistemas high foram corrigidos primeiro e relatórios semanais foram enviados aos chefes de departamento. Ele entrevista dois responsáveis pela segurança para documentar a prática, marcando o material das entrevistas como evidência descritiva, e não causal. Esses acréscimos são marcados como revisões.

6.4 Afirmações revisadas

O artigo revisado mantém inalterado o resultado pré-registrado como achado principal, acrescenta a simulação de poder, a análise de sensibilidade exploratória e a descrição do mecanismo, e estreita a conclusão: numa prefeitura, a correção ordenada pelo risco esteve associada a uma redução modesta e incerta na latência de correção crítica. O workshop aceita o artigo. Yusuf observa que a crítica melhorou o artigo principalmente ao tornar seus limites mais claros, e não ao mudar seus números, o que ele considera o resultado certo para uma pesquisa honesta. Ele envia aos revisores uma carta listando cada mudança feita.

Exemplo resolvido

Yusuf responde às críticas sobre poder, escolha do comparador e mecanismo com uma simulação de poder, uma análise de sensibilidade exploratória rotulada e uma seção sobre o mecanismo, mantém inalterado o resultado confirmatório e estreita sua conclusão.

Caso sintético. A crítica e as revisões são sintéticas.

Erros e limites

Apresentar uma reanálise exploratória como evidência confirmatória esconde as escolhas do pesquisador.

Exercícios

• EX033 — Três críticas. Cite os três pontos dos revisores. Rubrica: 3 = poder, escolha do comparador, mecanismo ausente;; 2 = todos;; 1 = alguns;; 0 = nenhuma.

• EX034 — Achado sobre o poder. O que a simulação de poder mostrou? Rubrica: 3 = detecção em cerca de trinta por cento, muito abaixo de oitenta;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX035 — Comparador excluído. Que comparador foi excluído na análise de sensibilidade? Rubrica: 3 = a companhia de água;; 2 = parcialmente correto;; 1 = outro;; 0 = nenhuma.

• EX036 — Rótulo da sensibilidade. Como a análise de sensibilidade é rotulada? Rubrica: 3 = exploratória;; 2 = parcialmente correto;; 1 = confirmatória;; 0 = nenhuma.

• EX037 — Conteúdo do mecanismo. O que a correção ordenada pelo risco mudou? Rubrica: 3 = pontuação por categoria, sistemas high primeiro, relatórios semanais;; 2 = a maioria;; 1 = poucos;; 0 = nenhuma.

• EX038 — Conclusão estreitada. Qual é a conclusão estreitada? Rubrica: 3 = uma redução modesta e incerta numa prefeitura;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

Continue estudando — aula 06 (capítulo 06 de 08)

← Capítulo 05 · Índice das aulas · Capítulo 07 →

Continue para a próxima aula já escrita.