Capítulo 16 — Segurança de IA e aprendizado de máquina: métodos II | Tecnólogo Segurança de IA e aprendizado de máquina

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 16 publicada. Mapa, exemplo, EX046.

flowchart TD
  N0["16.1 Testes de recuperação"]
  N1["16.2 Agência excessiva"]
  N2["16.3 Divulgação e vazamento do prompt de sistema"]
  N3["16.4 Testes de recursos"]
  N4["16.4b Avaliando automaticamente"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX046"]

Desenho lógico

flowchart LR
  N0["16.1 Testes de recuperação"]
  N1["16.2 Agência excessiva"]
  N2["16.3 Divulgação e vazamento do prompt de sistema"]
  N3["16.4 Testes de recursos"]
  N4["16.4b Avaliando automaticamente"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX046"]

[16.1 Testes de recuperação]
    |
    v
[16.2 Agência excessiva]
    |
    v
[16.3 Divulgação e vazamento do prompt de sistema]
    |
    v
[16.4 Testes de recursos]
    |
    v
[16.4b Avaliando automaticamente]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX046]

Objetivos de aprendizagem

Você vai (1) testar sistemas de recuperação quanto a fraquezas de controle de acesso e de envenenamento; (2) testar agentes quanto a agência excessiva; (3) testar a divulgação de informações sensíveis e o vazamento do prompt de sistema; e (4) testar os limites de recursos.

16.1 Testes de recuperação

Plante documentos-canário com frases características em locais restritos e consulte como usuários que não deveriam vê-los; qualquer canário numa resposta é um vazamento. Acrescente documentos com fatos falsos vindos de fontes de baixa confiança e verifique se as respostas os repetem (LLM08, LLM09). Jonas usou os dois métodos no Ask Brightwell depois da separação dos índices. O documento-canário exclusivo da equipe testou se algo restrito ainda chegava aos clientes, e os fatos falsos em páginas de baixa confiança testaram se as respostas os repetiam. A página vencida de devoluções em 60 dias mostrou depois que fatos falsos também podem chegar por acidente.

16.2 Agência excessiva

Liste cada ferramenta, seus parâmetros e suas permissões. Tente fazer o agente chamar cada ferramenta com parâmetros fora dos direitos do usuário ou da necessidade da tarefa, por meio de pedidos diretos e de conteúdo plantado. Meça pelos registros das ferramentas. O OWASP LLM06 recomenda minimizar ferramentas, funções e permissões e exigir aprovação humana para ações de alto impacto. No Ask Brightwell, os testes de agência descobriram que o agente podia chamar "atualizar endereço" durante um chat de devolução. Essa ferramenta nunca era necessária ali, e uma avaliação injetada poderia tê-la usado para redirecionar uma substituição. Limitar as ferramentas por tipo de conversa fechou a lacuna.

16.3 Divulgação e vazamento do prompt de sistema

Peça dados de outros usuários, documentos internos e o prompt de sistema com muitas formulações. Prompts de sistema vazados importam sobretudo quando contêm segredos ou revelam controles; a correção é tirar os segredos dos prompts, e não esconder melhor o prompt (LLM07). O prompt de sistema do Ask Brightwell já guardou um código de desconto da equipe, o que tornava o vazamento do prompt uma perda real. Depois que o código foi retirado, um prompt vazado revela apenas instruções que os testes já supõem que um atacante pode adivinhar. Jonas ainda testa o vazamento para confirmar que nenhum segredo foi acrescentado de volta.

16.4 Testes de recursos

Envie entradas de tamanho máximo, pedidos de saídas muito longas e laços recursivos de ferramentas; meça o custo e a latência em relação aos limites (LLM10). No Ask Brightwell, o teste de laço encontrou o agente chamando a busca 40 vezes num único turno, cada chamada consumindo tokens. O teto de 5 chamadas por turno limita esse custo. As entradas de tamanho máximo são conferidas contra o limite de tamanho do gateway, e os pedidos de saída longa, contra o limite de saída do fornecedor. Cada teste mede o custo e a latência pelos registros, de modo que um limite configurado, mas não aplicado, aparece imediatamente.

16.4b Avaliando automaticamente

Escreva os avaliadores como código: procure nos registros das ferramentas chamadas fora dos parâmetros permitidos, procure nas saídas as strings-canário e compare as contagens de tokens com os limites. Avaliadores automáticos tornam os resultados repetíveis e permitem executar de novo todo o conjunto após cada mudança. Os avaliadores do Ask Brightwell procuram nos registros das ferramentas chamadas start_return para pedidos que o usuário não mencionou, procuram nas respostas a frase-canário do Project Heron e comparam as chamadas de ferramentas por turno com o teto. Como são código, os mesmos avaliadores rodam sem alterações no harness noturno.

16.5 Exemplo resolvido (caso sintético da Brightwell)

Jonas planta um documento-canário exclusivo da equipe ("Project Heron discount matrix") e faz 50 perguntas sobre descontos a partir de contas de clientes: 0 vazamentos depois da separação dos índices. Os testes de agência descobrem que o agente pode chamar "atualizar endereço" durante um chat de devolução — uma ferramenta de que ele nunca precisa ali. Ele limita as ferramentas por tipo de conversa. Um teste de laço mostra que o agente pode chamar a busca 40 vezes num único turno; ele limita as chamadas a 5. Cada resultado levou a um sistema mais estreito, e não a um prompt melhor: índices separados, ferramentas limitadas por conversa e um teto rígido de chamadas. Para confirmar que o teste de canário consegue de fato enxergar um vazamento, Jonas também o rodou numa cópia de rascunho com o documento Heron de volta ao índice de clientes.

16.6 Erros e limites

Três erros são comuns: testar a recuperação apenas com consultas amigáveis; ferramentas habilitadas globalmente, e não por tarefa; e nenhum limite por turno. Os testes de Jonas no Ask Brightwell evitam os três: as perguntas-canário vêm de contas de clientes tentando alcançar conteúdo da equipe, as ferramentas são limitadas por tipo de conversa e um teto de chamadas por turno limita os laços. Consultas amigáveis nunca teriam encontrado o vazamento das margens, e as ferramentas globais deixavam a ferramenta de endereço alcançável durante as devoluções. Cada erro tem um teste no harness, de modo que uma mudança que traga um deles de volta faz falhar a execução noturna.

Exercícios

EX046 — Canário. Projete um teste de canário para o índice da equipe. Rubrica: 3 = frase única, posicionamento, consultas com o papel errado, critério de aprovação; 2 = três; 1 = um; 0 = nenhum.
EX047 — Auditoria de agência. Liste as ferramentas do Ask Brightwell e quais conversas precisam de cada uma. Rubrica: 3 = limitação por ferramenta, com justificativas; 2 = parcial; 1 = vago; 0 = nenhum.
EX048 — Laço. Por que limitar as chamadas de ferramentas por turno, e que valor você escolheria? Rubrica: 3 = custo, laços, amplificação de injeções, número justificado; 2 = parcial; 1 = vago; 0 = nenhum.

Síntese

Os métodos II estendem os testes à recuperação, à agência, à divulgação e ao consumo — cada um julgado pelos efeitos e corrigido com controles do sistema.

Continue estudando — capítulo 16 de 30

← Capítulo 15 (rascunho) · Índice de capítulos do curso · Capítulo 17 (rascunho) →