Capítulo 20 — Segurança de IA e aprendizado de máquina: solução de problemas
Mapa da aula
Aula 20 publicada. Mapa, exemplo, EX058.
flowchart TD
N0["20.1 Um método"]
N1["20.2 Distinguindo as causas"]
N2["20.3 Reprodução segura"]
N3["20.4 Corrigir e prevenir"]
N4["20.4b Comunicando durante o diagnóstico"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX058"]
Desenho lógico
flowchart LR
N0["20.1 Um método"]
N1["20.2 Distinguindo as causas"]
N2["20.3 Reprodução segura"]
N3["20.4 Corrigir e prevenir"]
N4["20.4b Comunicando durante o diagnóstico"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX058"]
[20.1 Um método]
|
v
[20.2 Distinguindo as causas]
|
v
[20.3 Reprodução segura]
|
v
[20.4 Corrigir e prevenir]
|
v
[20.4b Comunicando durante o diagnóstico]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX058]
Objetivos de aprendizagem
Você vai (1) diagnosticar falhas de sistemas de IA de forma sistemática; (2) distinguir causas de modelo, de dados, de configuração e de ataque; (3) reproduzir problemas com segurança; e (4) corrigir e impedir a recorrência.
20.1 Um método
Defina o sintoma com precisão (o quê, quando, quem, com que frequência). Reúna os rastros. Formule hipóteses em quatro classes: comportamento do modelo (uma atualização do modelo mudou as saídas), dados (o índice contém conteúdo errado ou malicioso), configuração (prompt editado, permissão de ferramenta alterada, limite removido) e ataque (alguém está provocando o problema deliberadamente). Teste as hipóteses uma de cada vez numa cópia de homologação. O problema do prazo de devolução de 60 dias seguiu esse método: o sintoma era específico, as versões foram conferidas e os rastros da recuperação apontaram para a classe dos dados. Cada classe tem sua primeira verificação, a começar pelas versões.
20.2 Distinguindo as causas
Confira primeiro as versões: o modelo, o prompt, o índice ou o código mudaram perto do início do sintoma? Confira se o conteúdo recuperado tem texto injetado. Confira se as falhas se concentram em certos usuários ou fontes — os ataques costumam se concentrar. Confira se o problema se reproduz com a versão anterior: se ele desaparece, a mudança está implicada. No caso dos 60 dias, as versões não tinham mudado, o que descartou rapidamente as causas de modelo e de configuração. Toda resposta com falha tinha recuperado a mesma página vencida de campanha, de modo que as falhas se concentravam numa fonte, e não em usuários. Esse padrão de concentração apontava para os dados, e não para um ataque.
20.3 Reprodução segura
Reproduza na homologação, com dados sintéticos. Mantenha as evidências de produção somente para leitura. Se a reprodução exigir entradas perigosas, guarde-as num depósito de testes com controle de acesso. No caso dos 60 dias, Jonas reproduziu a resposta errada na homologação indexando a página vencida e perguntando sobre o prazo de devolução, o que não exigiu nenhum dado de cliente. As avaliações plantadas com injeções usadas nos testes seguintes ficam nesse depósito com controle de acesso, separadas dos dados de teste comuns. As cópias de homologação do Ask Brightwell contêm apenas clientes e pedidos sintéticos, de modo que os testes ali não podem expor dados pessoais reais.
20.4 Corrigir e prevenir
Corrija a causa, acrescente um teste de regressão ao harness e atualize os runbooks. Se a causa raiz foi uma premissa de confiança do projeto, corrija o projeto, e não apenas o sintoma. O caso dos 60 dias foi corrigido nos dois níveis: a página vencida foi removida, e o projeto ganhou um campo de validade e uma tarefa noturna para que conteúdo vencido não possa voltar a chegar às respostas. Um teste de regressão pergunta sobre o prazo de devolução a cada mudança. O runbook para respostas erradas sobre políticas agora verifica se há conteúdo vencido nos documentos recuperados logo após a verificação das versões.
20.4b Comunicando durante o diagnóstico
Mantenha um registro contínuo do que foi conferido e encontrado. Diga à equipe de suporte o que falar aos clientes enquanto isso e avise os donos quando a causa for confirmada. Durante o caso dos 60 dias, a equipe de suporte foi orientada a confirmar o prazo de 30 dias a qualquer cliente que perguntasse, enquanto Jonas conferia as versões e a recuperação. O registro anotou cada verificação, de modo que, quando a página vencida foi identificada, o dono da campanha no marketing pôde ver exatamente por que ela foi removida, e o líder do suporte soube quando parar de usar o roteiro provisório.
20.5 Exemplo resolvido (caso sintético da Brightwell)
Clientes relatam que o assistente cita um prazo de devolução de 60 dias; a política é de 30 dias. Jonas confere as versões: nenhuma mudança de modelo ou de prompt. Ele confere a recuperação das perguntas com falha: todas incluem uma página de uma campanha de marketing enviada na semana anterior ("60-day holiday returns", vencida). É um problema de dados, e não um ataque. Correção: remover a página, acrescentar um campo de validade aos documentos indexados e uma tarefa noturna que descarta o conteúdo vencido, mais um teste de regressão que pergunta sobre o prazo de devolução. O campo de validade corrige a classe do problema, e não apenas esta página.
20.6 Erros e limites
Três erros são comuns: culpar "a IA" sem conferir versões e dados; depurar em produção; e correções sem testes de regressão. O caso dos 60 dias evitou cada um: Jonas conferiu versões e dados antes de culpar o modelo, reproduziu o problema na homologação e acrescentou um teste de regressão. Se ele tivesse depurado em produção, uma pergunta de teste poderia ter chegado à conversa de um cliente real. Sem o teste, a próxima página vencida de campanha traria o mesmo sintoma de volta. O runbook agora lista essas verificações nessa ordem: sua primeira etapa é a verificação das versões, e a segunda é a verificação de conteúdo vencido nos documentos recuperados. Conferir primeiro as versões e a recuperação leva minutos e descarta as causas mais comuns.
Exercícios
- EX058 — Hipóteses. Para "o assistente de repente recusa a maioria das perguntas", liste uma hipótese em cada classe. Rubrica: 3 = quatro classes, com verificações; 2 = três; 1 = uma ou duas; 0 = nenhuma.
- EX059 — Ataque ou não. Que evidências sugeririam que o problema dos 60 dias era um ataque? Rubrica: 3 = autor do envio desconhecido, texto injetado, concentração, momento; 2 = dois; 1 = um; 0 = nenhum.
- EX060 — Prevenção. Proponha duas prevenções para conteúdo desatualizado. Rubrica: 3 = metadados de validade, revisão pelo dono, teste de regressão; 2 = dois; 1 = um; 0 = nenhum.
Síntese
Diagnosticar sistemas de IA separa as causas de modelo, de dados, de configuração e de ataque com versões e rastros, reproduz com segurança e impede a recorrência com testes.
Continue estudando — capítulo 20 de 30
← Capítulo 19 (rascunho) · Índice de capítulos do curso · Capítulo 21 (rascunho) →