Capítulo 42 — Segurança de IA e aprendizado de máquina: pesquisa aplicada | Engenharia Segurança de IA e aprendizado de máquina

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 42 publicada. Mapa, exemplo, EX124.

flowchart TD
  N0["42.1 Do problema à pergunta"]
  N1["42.2 Revisão de literatura eficiente"]
  N2["42.3 Experimentos pequenos e válidos"]
  N3["42.4 Relatando para praticantes"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX124"]

Desenho lógico

flowchart LR
  N0["42.1 Do problema à pergunta"]
  N1["42.2 Revisão de literatura eficiente"]
  N2["42.3 Experimentos pequenos e válidos"]
  N3["42.4 Relatando para praticantes"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX124"]

[42.1 Do problema à pergunta]
    |
    v
[42.2 Revisão de literatura eficiente]
    |
    v
[42.3 Experimentos pequenos e válidos]
    |
    v
[42.4 Relatando para praticantes]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX124]

Objetivos de aprendizagem

Você vai (1) formular uma pergunta de pesquisa aplicada a partir de um problema de engenharia; (2) revisar a literatura com eficiência usando taxonomias compartilhadas; (3) projetar um experimento pequeno e válido; e (4) relatar os achados com limitações úteis para os praticantes.

42.1 Do problema à pergunta

Problemas de engenharia se tornam perguntas de pesquisa quando a resposta não é conhecida e poderia ser generalizada: "Marcar o conteúdo não confiável com rótulos de proveniência reduz as propostas de injeção em nosso agente, e em quanto, em comparação com um padrão de modelo duplo?" Mantenha o escopo no que um semestre consegue responder. Uma boa pergunta nomeia a comparação, a medida e o contexto, para que possa ser respondida com um experimento planejado. "Os rótulos são úteis?" não pode ser respondida; "quantas propostas de injeção os rótulos evitam no Wrench em comparação com um projeto de modelo duplo, em boletins reservados" pode. Manter o escopo pequeno deixa tempo para fazer o experimento direito, incluindo o ataque adaptativo que muitos projetos pulam.

42.2 Revisão de literatura eficiente

Comece por visões gerais de referência — o NIST AI 100-2 E2025 para ML adversarial, o OWASP LLM 2025 para riscos de aplicações, o MITRE ATLAS para técnicas — e depois leia os artigos-chave: Greshake et al. (arXiv:2302.12173) e Liu et al. (arXiv:2306.05499) sobre injeção de prompt; Chen et al. (arXiv:2402.06363) sobre defesas por consultas estruturadas; Carlini et al. (arXiv:1902.06705) sobre avaliação. Registre o modelo de ameaça, o método, a métrica e os limites de cada um. As visões gerais mapeiam a área rapidamente e apontam os artigos que valem uma leitura atenta. Para cada artigo, uma nota curta registra o modelo de ameaça, o método, a métrica e os limites, para que os artigos possam ser comparados nos mesmos termos. Sam para de ler quando novos artigos deixam de mudar o plano.

42.3 Experimentos pequenos e válidos

Especifique de antemão as hipóteses e as métricas; use conjuntos de teste reservados; compare com linhas de base fortes; execute várias sementes; relate diferenças pareadas com intervalos; inclua um ataque adaptativo que mire o seu método. Confira as armadilhas comuns em Arp et al. (arXiv:2010.09470). Um experimento pequeno ainda pode ser válido se for honesto sobre seus limites. Especificar de antemão impede que se escolha a métrica que favorece o método. Linhas de base fortes impedem que um método pareça bom diante de uma comparação fraca. Várias sementes mostram se uma diferença é estável. Um ataque adaptativo, escrito por alguém que sabe como o método funciona, é o teste mais importante, porque os atacantes também vão saber.

42.4 Relatando para praticantes

Declare com precisão o contexto, o efeito com seu intervalo, o custo, as condições em que o método falhou e o que um praticante deve fazer com o resultado. Os praticantes querem saber se devem adotar um método, em que condições e a que custo. Um relatório que termina em um p-valor os deixa descobrindo isso sozinhos. Declarar onde o método falhou é particularmente útil, já que diz aos leitores quando não confiar nele. Sam termina cada relatório aplicado com uma recomendação curta e suas condições, escrita para um engenheiro que não vai ler os métodos.

42.5 Exemplo resolvido (caso sintético da NRS)

A pergunta aplicada de Sam comparou rótulos de proveniência sozinhos, modelo duplo e os dois juntos, em 400 boletins injetados sintéticos e 400 tarefas benignas, com cinco sementes cada. Os rótulos reduziram as propostas de injeção de 14% para 9% (IC pareado de 3–7 pontos); o modelo duplo, para 2%; os dois juntos, para 1,5%. Um payload adaptativo que imitava o formato do rótulo elevou de volta as propostas com apenas rótulos para 13%, enquanto o modelo duplo se manteve em 2,5%. Conclusão para os praticantes: os rótulos ajudam um pouco e são facilmente imitados; interfaces restritas ajudam mais; nenhum dos dois substitui a aplicação de políticas. O ataque adaptativo mudou a conclusão: sem ele, os rótulos teriam parecido uma defesa sólida.

42.6 Erros e limites

Três erros são comuns: perguntas amplas demais para o tempo disponível; nenhum ataque adaptativo contra o método proposto; e relatórios sem orientação para praticantes. Perguntas amplas demais terminam em resultados vagos ou experimentos inacabados. Um método testado apenas contra ataques escritos antes de ele existir vai parecer mais forte do que é, como mostrou o payload que imitava o rótulo. Relatórios que param nas estatísticas deixam os praticantes sem saber o que fazer. Sam confere nas propostas uma única pergunta respondível, um ataque adaptativo no plano e um resumo para praticantes no esboço antes que qualquer experimento seja executado.

Exercícios

EX124 — Pergunta. Transforme "nosso classificador deixa passar algumas injeções" em uma pergunta de pesquisa aplicada. Rubrica: 3 = específica, comparativa, mensurável, viável; 2 = três; 1 = vaga; 0 = nenhuma.
EX125 — Ataque adaptativo. Por que o payload que imitava o rótulo importou no estudo de Sam? Rubrica: 3 = mostra que os rótulos são fracos contra um atacante que os conhece; muda a conclusão; 2 = parcial; 1 = vago; 0 = errado.
EX126 — Frase para praticantes. Escreva uma recomendação para praticantes a partir dos resultados de Sam. Rubrica: 3 = acionável, condicional, com evidência; 2 = parcial; 1 = exagera; 0 = nenhuma.

Síntese

A pesquisa aplicada responde a perguntas de engenharia com experimentos pequenos e válidos — incluindo ataques contra a sua própria ideia — e relata resultados que os praticantes podem usar.

Continue estudando — capítulo 42 de 50

← Capítulo 41 (rascunho) · Índice de capítulos do curso · Capítulo 43 (rascunho) →