Capítulo 6 — Crítica por pares e revisão

Capítulo 6 — Crítica por pares e revisão

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Convidar uma leitura hostil"]
  N1["6.2 A objeção do criptógrafo"]
  N2["6.3 A objeção do metodologista"]
  N3["6.4 A objeção do engenheiro"]
  N4["6.5 Escrever a carta de resposta"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Convidar uma leitura hostil"]
  N1["6.2 A objeção do criptógrafo"]
  N2["6.3 A objeção do metodologista"]
  N3["6.4 A objeção do engenheiro"]
  N4["6.5 Escrever a carta de resposta"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX033"]

[6.1 Convidar uma leitura hostil]
    |
    v
[6.2 A objeção do criptógrafo]
    |
    v
[6.3 A objeção do metodologista]
    |
    v
[6.4 A objeção do engenheiro]
    |
    v
[6.5 Escrever a carta de resposta]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) organizar uma crítica estruturada por pares de um estudo de campo em criptografia; (2) separar as objeções fatais das corrigíveis; (3) revisar um manuscrito com uma carta de resposta rastreável.

6.1 Convidar uma leitura hostil

Nadia distribui o rascunho do artigo a três leitores escolhidos para discordar dela: um criptógrafo aplicado, um metodologista de engenharia de software e um engenheiro da Meridian de uma equipe de controle. Ela pede a cada um a única objeção mais capaz de derrubar o artigo e uma lista de problemas menores. Ela também lhes entrega o registro, para que possam conferir se as análises relatadas correspondem ao plano. Convidar a crítica antes da submissão sai mais barato do que recebê-la dos revisores do periódico, e treina o hábito que os examinadores procuram: tratar o próprio resultado como uma afirmação a ser testada.

6.2 A objeção do criptógrafo

O criptógrafo argumenta que "uso indevido a cada dez mudanças" dá o mesmo peso a todo achado, embora um nonce do GCM repetido numa chave de alto volume seja catastrófico, enquanto um hash obsoleto num utilitário de teste é cosmético. Nadia aceita que esse é um problema real de construto, mas não fatal. Ela acrescenta uma análise de sensibilidade ponderada pela severidade, usando uma escala de três níveis definida antes da reclassificação, e relata que a direção se mantém, enquanto a diferença diminui, porque vários achados evitados eram de baixa severidade. Ela também acrescenta um parágrafo explicando por que a medida primária, não ponderada, foi registrada primeiro.

6.3 A objeção do metodologista

O metodologista observa que as equipes com checklist integraram um pouco menos de mudanças que tocam criptografia durante o trimestre, o que levanta a possibilidade de que o checklist tenha desacelerado o trabalho e de que o trabalho mais lento, e não uma revisão melhor, tenha reduzido o uso indevido. Nadia confere as contagens de merges e os lead times. As equipes com checklist integraram oito por cento menos dessas mudanças, e o tempo mediano de revisão subiu cerca de doze minutos. Ela relata os dois abertamente como custos, observa que uma taxa a cada dez mudanças já ajusta pelo volume e enquadra o trade-off para os profissionais: um custo de tempo modesto comprou uma redução considerável do uso indevido confirmado neste contexto.

6.4 A objeção do engenheiro

O engenheiro da equipe de controle aponta que duas equipes de revisão habitual são donas do serviço de armazenamento mais antigo, que traz código de cifração legado com mais riscos. A estratificação por linha de produto colocou as duas no braço de controle por acaso. Nadia trata isso como um desequilíbrio plausível. Ela roda uma análise de sensibilidade excluindo as duas equipes carregadas de legado do controle e seus pares de estrato do tratamento; a diferença cai para cerca de 0,9, mas continua positiva. Ela relata a análise como exploratória, porque não foi registrada, e recomenda que estudos futuros estratifiquem também pela idade do código, além da linha de produto.

6.5 Escrever a carta de resposta

Para cada objeção, a carta de resposta de Nadia cita o comentário, declara se ela concorda, descreve a mudança com referências de seção e linha e rotula qualquer nova análise como exploratória. Ela resiste a duas tentações: promover em silêncio um resultado de sensibilidade ao resumo e descartar uma objeção sem evidências. Onde discorda, como na sugestão de abandonar a medida não ponderada, ela explica que mudar o desfecho primário depois de abrir o cegamento violaria o registro. A carta passa a fazer parte do seu arquivo, para que os examinadores possam rastrear como o argumento evoluiu.

Exemplo resolvido

Três críticos levantam a ponderação por severidade, a desaceleração dos merges e um desequilíbrio de legado; Nadia responde com uma conferência de sensibilidade por severidade, custos de tempo relatados e uma exclusão exploratória, tudo registrado numa carta de resposta.

Caso sintético. Os revisores e todas as contagens reclassificadas deste capítulo são inventados.

Erros e limites

Análises de sensibilidade rodadas depois de abrir o cegamento são exploratórias, por mais tranquilizadoras que pareçam. Uma crítica que você não consegue responder pertence às limitações, e não a uma nota de rodapé.

Exercícios

• EX033 — Escolher os críticos. Por que Nadia escolheu três leitores que discordariam? Rubrica: 3 = para trazer à tona as objeções mais danosas antes da revisão do periódico, pelos ângulos da criptografia, do método e da prática;; 2 = para receber críticas;; 1 = amigos;; 0 = nenhuma.

• EX034 — Objeção da severidade. A que o criptógrafo se opôs, e como Nadia respondeu? Rubrica: 3 = peso igual para os achados; acrescentou sensibilidade ponderada por severidade predefinida, direção mantida, diferença menor;; 2 = só a objeção;; 1 = só a resposta;; 0 = nenhuma.

• EX035 — Custo do checklist. Que custos a conferência da desaceleração revelou? Rubrica: 3 = 8 por cento menos merges que tocam criptografia, revisão mediana cerca de 12 minutos mais longa;; 2 = um custo;; 1 = nenhum custo;; 0 = nenhuma.

• EX036 — Desequilíbrio de legado. O que aconteceu quando as equipes carregadas de legado foram excluídas? Rubrica: 3 = a diferença caiu para cerca de 0,9, mas continuou positiva; rotulada como exploratória;; 2 = só o número;; 1 = desapareceu;; 0 = nenhuma.

• EX037 — Estratificação futura. Que mudança na estratificação Nadia recomendou? Rubrica: 3 = estratificar também pela idade do código, além da linha de produto;; 2 = estratificar mais;; 1 = randomizar indivíduos;; 0 = nenhuma.

• EX038 — Desfecho primário mantido. Por que ela se recusou a abandonar a medida não ponderada? Rubrica: 3 = mudar o desfecho primário depois de abrir o cegamento viola o registro;; 2 = veio primeiro;; 1 = preferência;; 0 = nenhuma.

Síntese

A leitura hostil estruturada, as verificações de sensibilidade rotuladas como exploratórias e uma carta de resposta rastreável tornam um resultado mais forte ao expor onde ele cede.

Continue estudando — aula 06 (capítulo 06 de 08)

← Capítulo 05 · Índice das aulas · Capítulo 07 →

Continue para a próxima aula já escrita.