Capítulo 6 — Crítica de pares e revisão
Mapa da aula
Aula 06 publicada. Mapa, exemplo, EX033.
flowchart TD
N0["6.1 Como revisar um artigo de segurança de IA"]
N1["6.2 Escrever uma crítica que ajuda"]
N2["6.3 Receber críticas"]
N3["6.4 Revisar as alegações para caberem nas evidências"]
N4["6.6 Atividades práticas"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX033"]
Desenho lógico
flowchart LR
N0["6.1 Como revisar um artigo de segurança de IA"]
N1["6.2 Escrever uma crítica que ajuda"]
N2["6.3 Receber críticas"]
N3["6.4 Revisar as alegações para caberem nas evidências"]
N4["6.6 Atividades práticas"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX033"]
[6.1 Como revisar um artigo de segurança de IA]
|
v
[6.2 Escrever uma crítica que ajuda]
|
v
[6.3 Receber críticas]
|
v
[6.4 Revisar as alegações para caberem nas evidências]
|
v
[6.6 Atividades práticas]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX033]
Objetivos de aprendizagem
Você vai (1) revisar um artigo de segurança de IA com uma lista de verificação estruturada; (2) escrever uma crítica específica, acionável e justa; (3) receber críticas e separar objeções válidas de mal-entendidos; (4) revisar alegações, análises e texto para que as evidências e as palavras coincidam; e (5) escrever uma carta de resposta.
6.1 Como revisar um artigo de segurança de IA
Leia em três passadas. Primeiro, a alegação: o que exatamente o artigo afirma, e sob qual modelo de ameaça? Segundo, as evidências: os experimentos correspondem aos quantificadores da alegação (adversário, orçamento, modelos, tarefas)? Terceiro, os artefatos: código, dados e configurações estão disponíveis para verificação? Uma lista de verificação prática, construída a partir de arXiv:1902.06705 e arXiv:2010.09470, pergunta: o modelo de ameaça é explícito? Há ataques adaptativos? As linhas de base são fortes e ajustadas por igual? As métricas são adequadas às taxas-base? Há intervalos relatados entre sementes? Há vazamento entre os dados de desenvolvimento e de teste? Os custos de utilidade são medidos? As questões éticas e a divulgação foram tratadas? As limitações são declaradas onde o leitor vai vê-las?
6.2 Escrever uma crítica que ajuda
Boas revisões começam resumindo o artigo de forma justa em poucas frases, para que os autores vejam que você o entendeu. Depois, liste os problemas maiores (os que mudariam a conclusão se não fossem resolvidos) separados dos menores. Para cada problema maior, diga o que está errado, por que importa e que evidência o resolveria: "A defesa é avaliada apenas contra as 120 cargas de trabalhos anteriores; como a defesa modifica delimitadores, avaliem cargas que falsificam delimitadores e relatem a ASR em função do número de tentativas." Evite um tom que ataque os autores. Evite pedir experimentos que não mudariam a sua decisão.
6.3 Receber críticas
Separe cada comentário em quatro caixas: correto e corrigível (faça), correto, mas fora do escopo (reconheça e acrescente uma limitação), mal-entendido (o texto estava pouco claro — reescreva-o) e discordância (responda com evidências, com respeito). A terceira caixa é maior do que os autores esperam; se um revisor cuidadoso leu você errado, outros leitores também vão ler. Uma carta de resposta cita cada comentário e diz o que mudou e onde. A resposta de Ana ao pedido do corpus de cargas cabe na caixa fora do escopo: ela a reconheceu e explicou a publicação controlada. A troca de título cabe na primeira caixa. Guarde a lista classificada junto com a carta de resposta.
6.4 Revisar as alegações para caberem nas evidências
A revisão geralmente estreita as alegações. Edições típicas: trocar "robusto" por "ASR reduzida sob o modelo de ameaça avaliado"; trocar "generaliza" por "manteve-se em dois de três modelos"; mover uma limitação do apêndice para o resumo; acrescentar uma figura da ASR em função do orçamento de ataque; relatar o melhor ataque do red team. Alegações que encolhem mas sobrevivem são mais fortes do que alegações amplas e frágeis. A troca de título de Ana, de "impede" para "reduz", e o seu relato de um efeito menor no terceiro modelo são exemplos. Confira cada alegação com a tabela que a sustenta depois de cada revisão.
6.5 Exemplo resolvido (caso sintético do MAAL)
A revisão interna do MAAL sobre o rascunho de Ana levantou três problemas maiores. (1) "A separação impede a injeção", no título, contradizia a ASR residual de 5,8–8,9%; ela mudou o título para "reduz". (2) Os dois modelos eram de uma mesma família; um revisor perguntou se o efeito se transfere. Ana acrescentou um terceiro modelo aberto, de outra família, como execução apenas de validação: a redução se manteve na direção, mas foi menor (3,1 pontos, IC 1,4–4,9), e ela a relatou. (3) A utilidade foi medida com um juiz LLM. Ana acrescentou uma auditoria humana de 200 tarefas com dois anotadores, obtendo κ de Cohen = 0,81, e relatou a concordância entre juiz e humanos. Um comentário menor pediu o corpus completo de cargas; em vez disso, ela explicou o plano de publicação controlada do Capítulo 3.
6.6 Atividades práticas
- Revise um artigo publicado na sua área com a lista de verificação e escreva uma revisão de uma página. 2. Troque rascunhos com um colega e escrevam cartas de resposta um para o outro. 3. Liste cada alegação do seu resumo e a tabela ou figura que a sustenta. Para a revisão, use as perguntas da lista de verificação e separe os problemas maiores dos menores, dizendo que evidência resolveria cada problema maior. Para as cartas de resposta, cite cada comentário, classifique-o numa das quatro caixas e diga o que mudou e onde. Para a lista de alegações, qualquer alegação sem tabela ou figura que a sustente deve ser removida ou estreitada, como foi o título de Ana.
6.7 Erros e limites
Cada um destes erros desperdiça a revisão:
- Revisões que só listam erros de digitação ou só elogiam, o que não dá aos autores nada sobre o que agir.
- Pedidos de experimentos que não mudariam a decisão, que custam meses.
- Cartas de resposta defensivas que não mudam nada; elas deixam o problema no lugar e fazem perder a confiança do revisor.
- Deixar as limitações apenas nos apêndices, o que engana os leitores do resumo; é por isso que Ana trouxe as suas para a frente.
- Revisar a análise para fazer um efeito fraco parecer significativo; retrabalhar a análise para chegar à significância é uma forma de má conduta, seja qual for a descrição que se dê a isso.
Exercícios
- EX033 — Lista de verificação. Aplique cinco perguntas da lista de verificação a um artigo de sua escolha e registre as respostas. Rubrica: 3 = cinco perguntas respondidas com evidência de página/seção; 2 = quatro; 1 = vago; 0 = nenhuma.
- EX034 — Problema maior. Escreva um comentário de problema maior (o quê, por quê, evidência que o resolve) para uma defesa avaliada apenas com cargas estáticas. Rubrica: 3 = as três partes; 2 = duas; 1 = uma; 0 = nenhuma.
- EX035 — Caixas. Um revisor diz "o método é só uma lista de permissões". Em que caixa isso cai, e como você responde? Rubrica: 3 = mal-entendido ou discordância; aponta para os resultados da RQ4, que comparam com a lista de permissões sozinha; 2 = só a caixa; 1 = vago; 0 = desdenhoso.
- EX036 — Estreitar uma alegação. Reescreva "o nosso método torna os agentes seguros" para corresponder aos resultados de Ana. Rubrica: 3 = nomeia a redução, o modelo de ameaça, os modelos e a ASR residual; 2 = parcial; 1 = ainda alega demais; 0 = inalterada.
- EX037 — Concordância. O que κ = 0,81 lhe diz, e o que não diz? Rubrica: 3 = forte concordância corrigida pelo acaso entre os anotadores; não mostra que algum deles esteja correto nem que o juiz LLM seja válido, a menos que sejam comparados; 2 = a primeira parte; 1 = vago; 0 = errado.
- EX038 — Carta de resposta. Escreva o parágrafo de resposta ao comentário sobre a transferência. Rubrica: 3 = cita o comentário, descreve o experimento acrescentado, o resultado com intervalo e a localização no artigo; 2 = falta um item; 1 = vago; 0 = nenhum.
Síntese
A crítica é um instrumento de validade. Revisar o trabalho dos outros ensina que evidências convencem; revisar o próprio trabalho alinha as palavras com essas evidências, o que geralmente significa alegações mais estreitas e mais sólidas.
Continue estudando — capítulo 06 de 08
← Capítulo 05 (rascunho) · Índice de capítulos do curso · Capítulo 07 (rascunho) →