Capítulo 6 — Crítica por pares e revisão | Pesquisa doutoral Arquitetura e engenharia de segurança

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Convite à leitura hostil"]
  N1["6.2 Classificação dos comentários"]
  N2["6.3 Teste da objeção fatal"]
  N3["6.4 Revisão das afirmações"]
  N4["6.5 Documentação das revisões"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Convite à leitura hostil"]
  N1["6.2 Classificação dos comentários"]
  N2["6.3 Teste da objeção fatal"]
  N3["6.4 Revisão das afirmações"]
  N4["6.5 Documentação das revisões"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX033"]

[6.1 Convite à leitura hostil]
    |
    v
[6.2 Classificação dos comentários]
    |
    v
[6.3 Teste da objeção fatal]
    |
    v
[6.4 Revisão das afirmações]
    |
    v
[6.5 Documentação das revisões]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) buscar a crítica capaz de derrubar suas conclusões; (2) classificar os comentários dos revisores pela consequência; (3) revisar as afirmações, e não só a redação; (4) documentar as revisões com transparência.

6.1 Convite à leitura hostil

Amara faz circular o capítulo de resultados entre três leitores escolhidos por discordarem: um pesquisador de engenharia de software empírica cético quanto a desenhos observacionais, um arquiteto corporativo em atividade que usa o SABSA e duvida que contagens de defeitos captem a qualidade da arquitetura, e um defensor do threat modeling que suspeita que o efeito esteja subestimado. Ela pede a cada um que identifique a afirmação mais fraca e a análise capaz de derrubá-la. Convidar a crítica de pessoas com compromissos diferentes é uma defesa prática contra a cegueira confortável que vem de discutir o trabalho só com colegas que apoiam e com um orientador que o viu crescer.

6.2 Classificação dos comentários

Amara separa os comentários em três grupos. Os comentários fatais, se corretos, invalidariam a afirmação principal. Os materiais mudariam uma estimativa ou uma interpretação. Os de apresentação afetam a clareza. O ponto do pesquisador cético de que o momento da adoção poderia acompanhar o desempenho das equipes é potencialmente fatal, porque as equipes que adotam depois de um ano ruim mostrariam regressão à média. O ponto do arquiteto de que as contagens de defeitos ignoram a qualidade do design é material para a interpretação. Vários comentários sobre os rótulos das figuras são de apresentação. Essa separação garante que ela dedique o esforço onde importa, em vez de polir o texto enquanto uma objeção fatal espera.

6.3 Teste da objeção fatal

Para testar a objeção da regressão à média, Amara compara a taxa de defeitos de cada equipe que adotou no ano anterior à adoção com o histórico mais longo dela. Se as equipes tivessem adotado depois de anos excepcionalmente ruins, suas taxas antes da adoção ficariam acima das suas próprias médias. Ela encontra as taxas pré-adoção dentro da variação normal, e as equipes de comparação mostram padrões semelhantes. Ela também refaz a estimativa usando um período anterior de dois anos em vez de um, o que a muda só um pouco. A objeção não é refutada de forma absoluta, mas sua assinatura prevista está ausente. Ela relata o teste e o resultado, creditando o revisor pelo nome, com permissão.

6.4 Revisão das afirmações

O comentário do arquiteto leva a uma revisão substantiva. Amara tinha escrito que o threat modeling melhora a segurança da arquitetura. Agora ela escreve que ele esteve associado a menos defeitos de arquitetura pós-lançamento, tal como codificados no estudo, e acrescenta um parágrafo sobre o que as contagens de defeitos deixam de fora: designs seguros, mas frágeis, ou defeitos em sistemas nunca lançados. Ela também acrescenta um apêndice qualitativo com entrevistas de seis arquitetos sobre como as sessões mudaram seus designs. A afirmação agora é menor, mas defensável, e o apêndice dá aos leitores outro tipo de evidência para pesar diante das contagens.

6.5 Documentação das revisões

Toda mudança feita depois da crítica entra numa tabela de revisões com o comentário, sua classificação, a resposta e o local da mudança. Quando Amara discorda, explica por quê, por exemplo ao recusar o pedido do defensor de retirar da análise principal as equipes de fidelidade baixa, porque isso enviesaria a estimativa para cima. A tabela vira um apêndice. O Prof. Quintero observa que os examinadores leem as tabelas de revisões com atenção, porque elas mostram como o candidato lida com a discordância. A revisão transparente distingue a confiança acadêmica, que se apoia em objeções testadas, da mera assertividade, que se apoia em não ter perguntado.

Exemplo resolvido

Amara reúne a crítica de três leitores opostos, classifica os comentários como fatais, materiais ou de apresentação, testa a regressão à média, estreita sua afirmação central e publica uma tabela de revisões.

Caso sintético. Os revisores, os comentários e os testes são sintéticos.

Erros e limites

A ausência da assinatura de uma objeção não prova que ela esteja errada. Revisores escolhidos pela autora ainda podem compartilhar pontos cegos.

Exercícios

EX033 — Escolha dos leitores. Por que escolher leitores que discordam entre si?
Mostrar critérios de avaliação
Rubrica: 3 = compromissos diferentes expõem fraquezas diferentes e combatem a cegueira confortável;; 2 = diversidade;; 1 = leitores que apoiam;; 0 = nenhuma.
EX034 — Objeção fatal. Que objeção era potencialmente fatal, e por quê?
Mostrar critérios de avaliação
Rubrica: 3 = a adoção depois de anos ruins causa uma regressão à média que imita um efeito;; 2 = nomeada;; 1 = de apresentação;; 0 = nenhuma.
EX035 — Assinatura da regressão. Que assinatura a regressão à média deixaria, e ela foi encontrada?
Mostrar critérios de avaliação
Rubrica: 3 = taxas pré-adoção acima das médias das próprias equipes; não foi encontrada;; 2 = só a assinatura;; 1 = foi encontrada;; 0 = nenhuma.
EX036 — Afirmação estreitada. Como Amara reescreveu sua afirmação central?
Mostrar critérios de avaliação
Rubrica: 3 = associado a menos defeitos de arquitetura pós-lançamento tal como codificados, e não melhora a segurança;; 2 = mais estreita;; 1 = inalterada;; 0 = nenhuma.
EX037 — Pedido recusado. Que pedido de revisor ela recusou, e por quê?
Mostrar critérios de avaliação
Rubrica: 3 = retirar as equipes de fidelidade baixa, pois enviesaria a estimativa para cima;; 2 = recusado;; 1 = aceito;; 0 = nenhuma.
EX038 — Valor da tabela de revisões. Por que os examinadores leem as tabelas de revisões com atenção?
Mostrar critérios de avaliação
Rubrica: 3 = mostram como o candidato lida com a discordância;; 2 = discordância;; 1 = formatação;; 0 = nenhuma.

Síntese

A crítica é mais valiosa quando convidada de opositores, ordenada por consequência e respondida com testes e afirmações mais estreitas.