Capítulo 20 — Segurança de IA e aprendizado de máquina: casos fundamentais
Mapa da aula
Aula 20 publicada. Mapa, exemplo, EX058.
flowchart TD
N0["20.1 Exemplos adversariais"]
N1["20.2 Defesas quebradas"]
N2["20.3 Envenenamento e backdoors"]
N3["20.4 Privacidade"]
N4["20.5 Aplicações com LLM"]
N5["20.6 Uso dos estudos de caso do ATLAS"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX058"]
Desenho lógico
flowchart LR
N0["20.1 Exemplos adversariais"]
N1["20.2 Defesas quebradas"]
N2["20.3 Envenenamento e backdoors"]
N3["20.4 Privacidade"]
N4["20.5 Aplicações com LLM"]
N5["20.6 Uso dos estudos de caso do ATLAS"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX058"]
[20.1 Exemplos adversariais]
|
v
[20.2 Defesas quebradas]
|
v
[20.3 Envenenamento e backdoors]
|
v
[20.4 Privacidade]
|
v
[20.5 Aplicações com LLM]
|
v
[20.6 Uso dos estudos de caso do ATLAS]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX058]
Objetivos de aprendizagem
Você vai (1) explicar resultados marcantes do ML adversarial e suas lições; (2) analisar estudos de caso de ataques a aplicações com LLM; (3) usar os estudos de caso do MITRE ATLAS para aprender com incidentes reais; e (4) extrair lições defensivas de cada caso.
20.1 Exemplos adversariais
Szegedy et al. (arXiv:1312.6199) descobriram que mudanças imperceptíveis enganam classificadores de imagens; Goodfellow et al. (arXiv:1412.6572) explicaram o fenômeno pela linearidade local. Lição: alta acurácia não implica robustez. O laboratório de evasão repete o achado em escala de brinquedo: uma acurácia de 0.985 com pontos limpos cai para 0.840 com um orçamento de meio. No DocSort, a pergunta equivalente é quão pequena precisa ser uma mudança na redação de uma carta para levá-la ao encaminhamento errado. A acurácia de teste de um modelo, sozinha, não responde a essa pergunta, já que as cartas de teste nunca foram elaboradas para enganá-lo.
20.2 Defesas quebradas
Athalye et al. (arXiv:1802.00420) mostraram que muitas defesas publicadas apenas obscureciam os gradientes; ataques adaptativos as quebraram. Lição: avalie as defesas contra atacantes que as conhecem. Para a LCH, isso significa que a alegação de um fornecedor de que o DocSort resiste a cartas elaboradas é uma evidência fraca, a menos que o teste do fornecedor tenha suposto um atacante que conhecia a defesa. Rina pergunta aos fornecedores quais ataques foram usados e se eram adaptativos. Uma defesa que apenas esconde os gradientes pode deter um ataque preguiçoso e falhar contra um cuidadoso, que é o atacante que importa.
20.3 Envenenamento e backdoors
Gu et al., BadNets (arXiv:1708.06733), mostraram modelos com backdoor que se comportam normalmente até que um gatilho apareça. Carlini et al. (arXiv:2302.10149) mostraram que envenenar conjuntos de dados em escala web é viável. Lição: a proveniência dos dados e dos modelos importa. O laboratório de envenenamento mostra o mesmo padrão: 80 pontos com gatilho elevam o sucesso do ataque a 0.980, enquanto a acurácia limpa fica em 0.968, de modo que os testes normais não veem nada de errado. O retreinamento mensal do DocSort com rótulos de terceirizados é exatamente o tipo de pipeline por onde um gatilho assim poderia entrar, trazido por um único rotulador descuidado ou hostil ao longo de vários meses.
20.4 Privacidade
Shokri et al. (arXiv:1610.05820) introduziram a inferência de pertencimento; Carlini et al. (arXiv:2012.07805) extraíram de um grande modelo de linguagem texto de treinamento memorizado. Lição: modelos podem vazar dados de treinamento. O Lab M reproduz o efeito de pertencimento num modelo de brinquedo. Para a LCH, a lição se aplica a qualquer modelo treinado com registros de pacientes, incluindo o NoShow, e a qualquer futuro modelo de linguagem ajustado com cartas das clínicas, que poderia repetir trechos delas. Saídas grosseiras e dados de treinamento minimizados reduzem essa exposição, mas não a eliminam.
20.5 Aplicações com LLM
Greshake et al. (arXiv:2302.12173) demonstraram a injeção indireta de prompt contra aplicações integradas a LLMs por meio de conteúdo recuperado, levando a roubo de dados e manipulação. Lição: tudo o que o modelo lê pode lhe dar instruções; limite o que o modelo pode fazer. O Ask Lumen se encaixa de perto nesse padrão: lê documentos das clínicas e envios de parceiros e pode chamar uma ferramenta de agendamento. A demonstração de Rina no exemplo resolvido abaixo usou o mesmo mecanismo, e o controle que limitou o dano foram as próprias verificações da ferramenta de agendamento, e não o julgamento do modelo sobre qual texto obedecer.
20.6 Uso dos estudos de caso do ATLAS
O MITRE ATLAS documenta estudos de caso mapeados para táticas e técnicas. Leia-os para ver como os ataques combinam reconhecimento, acesso e impacto, e quais mitigações teriam ajudado. Rina escolheu dois casos para sua apresentação: um envolvendo dados de treinamento envenenados e outro envolvendo injeção de prompt por meio de conteúdo recuperado. Para cada um, listou qual sistema da LCH tinha um caminho semelhante e se a LCH já tinha a mitigação. Surgiu uma lacuna: o DocSort não tinha verificação da proveniência dos rótulos de treinamento, de que tratam os próximos capítulos.
20.7 Exemplo resolvido (caso sintético da LCH)
Rina apresentou o caso de injeção indireta aos funcionários da LCH com uma demonstração sintética: um folheto de clínica enviado por um parceiro continha texto oculto instruindo o chatbot a dizer aos pacientes que uma clínica estava fechada. No sistema de teste, o Ask Lumen repetiu o falso fechamento. A lição se ligou diretamente à revisão dos envios de parceiros introduzida antes. Os funcionários reagiram mais à demonstração do que aos artigos, porque viram o próprio chatbot repetir a mensagem falsa. Vários perguntaram como os envios dos parceiros eram verificados, o que deu ao processo de revisão o apoio de que precisava.
20.8 Erros e limites
Dois erros são comuns: aprender ataques sem suas lições defensivas; e tratar casos antigos como irrelevantes para modelos novos. Cada estudo de caso só é útil com sua lição associada; saber que o BadNets existe não ajuda a menos que os rótulos do DocSort passem a ser rastreados. Os casos antigos com imagens ainda se aplicam a modelos mais novos, porque a fraqueza subjacente, a sensibilidade a pequenas mudanças elaboradas, não desapareceu. A apresentação de Rina associou cada caso a uma ação concreta para um dos sistemas da LCH, de modo que os funcionários saíram com trabalho a fazer, e não só com exemplos.
Exercícios
- EX058 — Lições. Indique a lição defensiva de Athalye et al. Rubrica: 3 = avaliar com ataques adaptativos; gradientes obscurecidos ≠ robustez; 2 = parcial; 1 = vago; 0 = errado.
- EX059 — Backdoor. Por que backdoors são difíceis de detectar com testes normais? Rubrica: 3 = comportamento normal em entradas limpas; gatilho desconhecido; 2 = parcial; 1 = vago; 0 = errado.
- EX060 — Caso do folheto. Que categoria de impacto e quais dois controles se aplicam ao caso do folheto? Rubrica: 3 = integridade/desinformação; revisão da origem, rotulagem de proveniência, verificação do embasamento das respostas; 2 = um controle; 1 = vago; 0 = nenhum.
Síntese
Os casos fundamentais mostram padrões recorrentes: acurácia não é robustez, defesas precisam de avaliação adaptativa, dados e modelos precisam de proveniência, modelos vazam, e LLMs obedecem ao que leem.
Continue estudando — capítulo 20 de 40
← Capítulo 19 (rascunho) · Índice de capítulos do curso · Capítulo 21 (rascunho) →