Capítulo 14 — Segurança de IA e aprendizado de máquina: métodos I
Mapa da aula
Aula 14 publicada. Mapa, exemplo, EX040.
flowchart TD
N0["14.1 Testando classificadores"]
N1["14.2 Testando injeção de prompt"]
N2["14.3 Estrutura do conjunto"]
N3["14.4 Registrando achados"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX040"]
Desenho lógico
flowchart LR
N0["14.1 Testando classificadores"]
N1["14.2 Testando injeção de prompt"]
N2["14.3 Estrutura do conjunto"]
N3["14.4 Registrando achados"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX040"]
[14.1 Testando classificadores]
|
v
[14.2 Testando injeção de prompt]
|
v
[14.3 Estrutura do conjunto]
|
v
[14.4 Registrando achados]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX040]
Objetivos de aprendizagem
Você vai (1) executar testes adversariais básicos em classificadores; (2) testar aplicações de LLM quanto a injeção de prompt direta e indireta; (3) estruturar um conjunto de testes com resultados esperados; e (4) registrar achados de forma reproduzível.
14.1 Testando classificadores
Para um classificador como o ReturnGuard, os testes de evasão perguntam: mudanças pequenas e plausíveis numa solicitação conseguem mudar a pontuação? Altere atributos que o atacante controla (motivo da devolução, momento, divisão do valor dos itens) e meça com que frequência um caso de fraude é pontuado como seguro. Goodfellow et al. (arXiv:1412.6572) mostraram que até um comportamento linear simples torna os modelos sensíveis a pequenas perturbações; o laboratório de evasão mostra o mesmo num modelo de brinquedo. No ReturnGuard, os testes de evasão de Jonas alteram os atributos que um cliente controla, como dividir uma devolução grande em várias pequenas ou mudar o motivo declarado. O teste conta quantos casos de fraude conhecidos ficam abaixo do limiar de alerta depois da mudança, em comparação com os mesmos casos antes dela.
14.2 Testando injeção de prompt
Injeção direta: o usuário digita instruções para anular as regras. Injeção indireta: as instruções chegam em conteúdo que o modelo lê — avaliações, e-mails, páginas web (Greshake et al., arXiv:2302.12173). Monte documentos de teste que peçam ao modelo para chamar uma ferramenta com parâmetros prejudiciais, revelar seu prompt de sistema ou produzir um link que vaze dados. Varie a formulação, o idioma, a formatação e a posição. O conjunto de Jonas para o Ask Brightwell tem os dois tipos: pedidos diretos digitados por um cliente de teste e instruções indiretas plantadas em avaliações e páginas de políticas na homologação. Os casos indiretos miram a ferramenta de devoluções, porque é ali que uma injeção se transforma em dinheiro. Variar a formulação e a posição impede que uma defesa passe apenas por reconhecer uma única formulação.
14.3 Estrutura do conjunto
Cada caso de teste: ID, categoria (entrada do OWASP), entrada, preparação (documentos plantados), comportamento seguro esperado e como o sucesso é avaliado (registro das ferramentas, padrão na saída). Mantenha um conjunto de desenvolvimento para ajustar as defesas e um conjunto reservado para os relatórios. O conjunto do Ask Brightwell registra o documento plantado de cada caso indireto e avalia o sucesso pelo registro das ferramentas. Seus casos reservados nunca são usados durante o ajuste do prompt com conteúdo separado nem das regras de política, de modo que as taxas relatadas não ficam infladas por ajuste sobre eles. Scripts de preparação plantam os documentos de cada caso na homologação antes da execução.
14.4 Registrando achados
Para cada falha, guarde a conversa completa, os documentos recuperados, as chamadas de ferramentas e as versões. Escreva o achado com os passos de reprodução, o impacto e a severidade. Quando 31 casos indiretos iniciaram devoluções, Jonas guardou cada conversa completa, a avaliação recuperada, a chamada de ferramenta e as versões em uso. Esse registro permitiu que o desenvolvedor do serviço de políticas reproduzisse cada falha na homologação sem precisar perguntar nada a ele. O mesmo registro mostrou depois que todas as 31 falhas atravessavam a mesma fronteira dos documentos para o prompt. Cada achado nomeia seu dono e uma data de novo teste, de modo que as 31 falhas da fronteira foram testadas de novo em conjunto depois da correção.
14.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas monta 120 casos de injeção para o Ask Brightwell na homologação: 40 diretos e 80 indiretos, por meio de avaliações e páginas de políticas plantadas. Avaliados pelos registros das ferramentas, 31 casos indiretos iniciam uma devolução de um pedido sobre o qual o usuário não perguntou; 4 casos diretos revelam o prompt de sistema. Ele registra dois achados e separa 40 casos como conjunto reservado. Foi a avaliação pelos registros das ferramentas que tornou visíveis os 31 sucessos indiretos: em vários casos, a resposta parecia prestativa enquanto uma devolução era iniciada. Manter um conjunto reservado significa que as defesas posteriores podem ser medidas em casos sobre os quais não foram ajustadas.
14.6 Erros e limites
Três erros são comuns: julgar o sucesso lendo as respostas; usar apenas strings públicas de jailbreak; e ajustar e relatar sobre os mesmos casos. O conjunto de Jonas evita esses erros. Ele avalia pelos registros das ferramentas, e não pelas respostas; escreve casos indiretos específicos para as avaliações e as páginas de políticas do Ask Brightwell, em vez de depender de strings públicas de jailbreak; e mantém 40 casos reservados, fora do ajuste. Um conjunto montado só com strings públicas mediria sobretudo se o fornecedor já as tinha visto. Ajustar sobre os casos reservados faria as taxas relatadas parecerem melhores do que são.
Exercícios
- EX040 — Teste de evasão. Projete três testes de evasão para o ReturnGuard. Rubrica: 3 = três mudanças controláveis pelo atacante, com medição; 2 = duas; 1 = uma; 0 = nenhuma.
- EX041 — Casos de injeção. Escreva três documentos de teste de injeção indireta (descritos, não transformados em arma), com o comportamento seguro esperado. Rubrica: 3 = três casos variados, com expectativas; 2 = dois; 1 = um; 0 = nenhum.
- EX042 — Registro de teste. Liste os campos do registro de um caso de teste. Rubrica: 3 = ID, categoria, entrada, preparação, esperado, avaliador; 2 = quatro; 1 = dois; 0 = nenhum.
Síntese
Os testes básicos de segurança de IA variam sistematicamente as entradas controladas pelo atacante, julgam os resultados pelos efeitos e mantêm conjuntos reproduzíveis e separados.
Continue estudando — capítulo 14 de 30
← Capítulo 13 (rascunho) · Índice de capítulos do curso · Capítulo 15 (rascunho) →