Capítulo 10 — Leitura e crítica de pesquisa
Mapa da aula
Aula 10 publicada. Mapa, exemplo, EX046.
flowchart TD
N0["10.1 Lendo com eficiência"]
N1["10.2 Perguntas de crítica"]
N2["10.3 Transferência para a prática"]
N3["10.4 Mantendo-se atualizado"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX046"]
Desenho lógico
flowchart LR
N0["10.1 Lendo com eficiência"]
N1["10.2 Perguntas de crítica"]
N2["10.3 Transferência para a prática"]
N3["10.4 Mantendo-se atualizado"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX046"]
[10.1 Lendo com eficiência]
|
v
[10.2 Perguntas de crítica]
|
v
[10.3 Transferência para a prática]
|
v
[10.4 Mantendo-se atualizado]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX046]
Objetivos de aprendizagem
Você vai (1) ler artigos de segurança de IA com eficiência; (2) criticar modelos de ameaça, métodos e avaliações; (3) julgar se os resultados se transferem para o seu contexto; (4) acompanhar de forma sustentável uma literatura que muda depressa; e (5) escrever a crítica de um profissional da prática.
10.1 Lendo com eficiência
Leia em três passagens: resumo, figuras e conclusão, para decidir a relevância; modelo de ameaça e método, para entender a afirmação; avaliação e limitações, para julgá-la. Mantenha uma nota de um parágrafo por artigo: afirmação, modelo de ameaça, evidências, limites, relevância para os seus sistemas. A crítica de Amira ao preprint, no exemplo resolvido abaixo, usou a segunda e a terceira passagens para encontrar o atacante adaptativo ausente. Arquive cada nota onde a equipe possa encontrá-la. Mantenha as notas curtas o bastante para serem lidas em um minuto e marque cada uma com os sistemas que ela afeta, para que sejam encontradas quando uma decisão precisar delas.
10.2 Perguntas de crítica
O que o atacante pode fazer e saber? O modelo de ameaça é realista para a sua implantação? Há linhas de base e ataques adaptativos? Os resultados são medidos por efeitos e relatados com incerteza? Uma pequena mudança de contexto quebraria o resultado? Os autores publicaram código e dados? A crítica de Amira ao preprint em 10.5 encontrou três desses itens ausentes: um atacante adaptativo, o sucesso medido por chamadas de ferramentas em vez do texto do modelo, e código publicado. Artigos como o de Carlini et al. (arXiv:1902.06705) oferecem uma lista de verificação para avaliações de robustez; Arp et al. (arXiv:2010.09470) listam armadilhas do aprendizado de máquina em segurança, incluindo viés de amostragem, data snooping e linhas de base inadequadas.
10.3 Transferência para a prática
Um ataque demonstrado num modelo aberto com acesso de caixa-branca pode não se aplicar a uma implantação acessível só por API — mas resultados de transferência como o de Zou et al. (arXiv:2307.15043) mostram que alguns ataques encontrados em modelos abertos funcionam em modelos fechados. Uma defesa avaliada num benchmark público pode falhar no seu tráfego. Declare explicitamente as suposições de transferência. Para a Corvane, uma defesa testada apenas em benchmarks públicos precisaria ser testada em e-mails de transportadoras antes de merecer confiança. Escreva cada suposição de transferência na nota. Revise-a depois do teste.
10.4 Mantendo-se atualizado
Acompanhe um conjunto pequeno de fontes: atualizações do NIST e do OWASP, estudos de caso do MITRE ATLAS, as principais conferências de segurança e de aprendizado de máquina e servidores de preprints, com ceticismo. Faça uma sessão mensal de leitura em que uma pessoa apresenta a relevância de um artigo para os sistemas da empresa. Na Corvane, a sessão mensal mantém a rotina de leitura pequena o bastante para ser sustentável. Faça rodízio de apresentador e registre em cada nota o que mudou, se algo mudou, nos sistemas ou planos da Corvane em consequência. Abandone as fontes que raramente trazem algo relevante e acrescente uma quando um colega encontrar outra melhor.
10.5 Exemplo resolvido (caso sintético da Corvane)
Um colega faz circular um preprint que afirma que um novo filtro "elimina a injeção de prompt". A crítica de Amira: a avaliação usa 200 cadeias públicas de injeção sem atacante adaptativo; o sucesso é medido pelo texto do modelo e não por chamadas de ferramenta; nenhuma taxa de recusas indevidas é relatada; o código não foi publicado. Sua conclusão: interessante como sinal de monitoramento; não é evidência para remover o serviço de política. Ela o contrasta com Greshake et al. (arXiv:2302.12173), cujas demonstrações contra aplicações reais motivaram o projeto da Corvane. A crítica decidiu o que o preprint podia e não podia justificar na Corvane.
10.6 Erros e limites
Três erros são comuns: citar resumos sem ler as avaliações; supor que os resultados se transferem sem verificar os modelos de ameaça; e correr atrás de todo preprint. Cada erro deixa pesquisas fracas conduzirem decisões. Um resumo pode afirmar mais do que a avaliação mostra, como fez o "elimina" do preprint. Um resultado num modelo aberto com acesso de caixa-branca pode não se aplicar a uma implantação acessível só por API. Correr atrás de todo preprint consome um tempo mais bem gasto com alguns artigos relevantes por mês. Confronte suas notas com esses três pontos antes de citar um artigo num registro de decisão.
Exercícios
- EX046 — Nota. Escreva uma nota de cinco campos sobre Shokri et al. (arXiv:1610.05820). Rubrica: 3 = afirmação, modelo de ameaça, evidências, limites, relevância; 2 = quatro; 1 = dois; 0 = nenhum.
- EX047 — Crítica. Aplique quatro perguntas de crítica ao preprint do §10.5. Rubrica: 3 = quatro respondidas com evidências; 2 = três; 1 = uma ou duas; 0 = nenhuma.
- EX048 — Transferência. Quando um ataque de caixa-branca importa para um sistema acessível só por API? Rubrica: 3 = transferência, modelos substitutos, base de pesos abertos; 2 = um ou dois; 1 = vago; 0 = nunca.
- EX049 — Armadilhas. Cite três armadilhas de Arp et al. e um exemplo de cada na avaliação de segurança de IA. Rubrica: 3 = três com exemplos; 2 = duas; 1 = uma; 0 = nenhuma.
- EX050 — Plano de leitura. Projete uma rotina de leitura sustentável para uma equipe de cinco pessoas. Rubrica: 3 = fontes, cadência, papéis, produto; 2 = três; 1 = vago; 0 = nenhum.
Síntese
Profissionais da prática leem pesquisas pelo modelo de ameaça e pelas evidências, não pela manchete. Critique de forma sistemática, declare as suposições de transferência e mantenha uma rotina sustentável.
Continue estudando — capítulo 10 de 12
← Capítulo 09 (rascunho) · Índice de capítulos do curso · Capítulo 11 (rascunho) →