Capítulo 10 — Segurança de IA e aprendizado de máquina: orientação
Mapa da aula
Aula 10 publicada. Mapa, exemplo, EX028.
flowchart TD
N0["10.1 Como os sistemas de AM são construídos"]
N1["10.2 Classes de ataque"]
N2["10.3 OWASP e ATLAS"]
N3["10.4 O papel do tecnólogo"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX028"]
Desenho lógico
flowchart LR
N0["10.1 Como os sistemas de AM são construídos"]
N1["10.2 Classes de ataque"]
N2["10.3 OWASP e ATLAS"]
N3["10.4 O papel do tecnólogo"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX028"]
[10.1 Como os sistemas de AM são construídos]
|
v
[10.2 Classes de ataque]
|
v
[10.3 OWASP e ATLAS]
|
v
[10.4 O papel do tecnólogo]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX028]
Objetivos de aprendizagem
Você vai (1) explicar como sistemas de aprendizado de máquina são construídos e usados; (2) listar as principais classes de ataque contra IA; (3) relacioná-las ao OWASP LLM Top 10 2025 e ao MITRE ATLAS; e (4) descrever o papel do tecnólogo na segurança de IA.
10.1 Como os sistemas de AM são construídos
Um sistema de aprendizado de máquina aprende uma função a partir de dados. O ciclo de vida é: coletar e rotular dados, treinar um modelo, avaliá-lo, implantá-lo por trás de uma aplicação, monitorá-lo e retreiná-lo. Aplicações de modelos de linguagem costumam partir de um modelo pré-treinado de um fornecedor e depois acrescentar um prompt de sistema, documentos recuperados e ferramentas. Os três sistemas da Brightwell mostram os dois padrões. O ReturnGuard segue o ciclo de vida clássico, treinado com devoluções rotuladas e retreinado à medida que a fraude muda, enquanto o Ask Brightwell e o CodePilot partem de modelos de fornecedores ou pré-treinados e acrescentam prompts, documentos e ferramentas. O trabalho de segurança muda conforme o caso: dados e rótulos no primeiro, prompts e ferramentas nos outros.
10.2 Classes de ataque
O NIST AI 100-2 E2025 agrupa os ataques em: evasão — entradas elaboradas para causar saídas erradas (Szegedy et al., arXiv:1312.6199; Goodfellow et al., arXiv:1412.6572); envenenamento — corrupção dos dados de treino, incluindo backdoors (Gu et al., arXiv:1708.06733); privacidade — inferência de pertencimento, extração de dados e extração de modelo (Shokri et al., arXiv:1610.05820; Tramèr et al., arXiv:1609.02943); e, para IA generativa, injeção de prompt direta e indireta e uso indevido. O mapa da Brightwell feito por Jonas usa essas classes: o ReturnGuard enfrenta evasão por fraudadores que moldam as devoluções, envenenamento por rótulos errados e extração por pontuações repetidas, enquanto o Ask Brightwell enfrenta injeção de prompt indireta por meio de avaliações e páginas. Nomear a classe ajuda a escolher o laboratório e o controle.
10.3 OWASP e ATLAS
O OWASP Top 10 for LLM Applications 2025: LLM01 Injeção de Prompt, LLM02 Divulgação de Informações Sensíveis, LLM03 Cadeia de Suprimentos, LLM04 Envenenamento de Dados e de Modelos, LLM05 Tratamento Inadequado da Saída, LLM06 Agência Excessiva, LLM07 Vazamento do Prompt de Sistema, LLM08 Fraquezas de Vetores e Embeddings, LLM09 Desinformação, LLM10 Consumo Ilimitado. O MITRE ATLAS descreve táticas e técnicas de adversários contra IA, com estudos de caso. Na Brightwell, a lista do OWASP se aplica ao Ask Brightwell e ao CodePilot, enquanto o ATLAS também cobre o ReturnGuard, que é um modelo preditivo não tratado pela lista do OWASP para LLMs. Jonas usa os dois para que cada sistema tenha um nome reconhecido para cada risco.
10.4 O papel do tecnólogo
Tecnólogos constroem e operam os sistemas em torno dos modelos: gateways, orquestradores, recuperação, ferramentas, pipelines, monitoramento. A maioria dos controles eficazes de segurança de IA fica ali: controle de acesso, validação, isolamento, limites, registros. Você não precisa treinar modelos para protegê-los. Na Brightwell, a equipe de Jonas não treina nenhum modelo de linguagem, mas quase toda correção deste livro é dela: o limite de taxa, a separação dos índices, as verificações de titularidade, o serviço de políticas, a sandbox e o monitoramento. Os modelos continuam os mesmos; o que muda é até onde eles podem alcançar. É por isso que o livro dedica a maioria dos capítulos aos sistemas em torno dos modelos, e não ao treinamento.
10.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas mapeia os três sistemas da Brightwell. Ask Brightwell: LLM01, LLM02, LLM05, LLM06, LLM08, LLM10. ReturnGuard: evasão (fraudadores moldando devoluções), envenenamento (rótulos errados vindos da equipe), extração de modelo por pontuações repetidas. CodePilot: LLM03 (pacotes sugeridos), LLM05 (código gerado executado sem revisão). Ele observa que a maioria das correções está no código da sua equipe, não nos modelos. O mapa dá a cada sistema uma lista curta de testes a executar. Sua última observação é a que mais importa para a equipe de Jonas: como as correções estão no código dela, a equipe pode fazê-las sem esperar por um fornecedor.
10.6 Erros e limites
Três erros são comuns: supor que segurança de IA significa treinamento de modelos; tratar o OWASP para LLMs como se cobrisse modelos preditivos; e esquecer o pipeline de dados. O mapa de Jonas evita esses erros listando o que cada sistema realmente faz. O ReturnGuard é um modelo preditivo e exige raciocinar sobre evasão, envenenamento e extração, e não só sobre a lista para LLMs. Os rótulos do ReturnGuard vêm da equipe, então o pipeline de dados faz parte da sua superfície de ataque. E os controles que ele propõe estão todos em código que pertence à sua equipe, não no treinamento de modelos. Cada erro deixa sem exame uma parte da superfície de ataque de um sistema.
Exercícios
- EX028 — Ciclo de vida. Cite um ataque em cada etapa do ciclo de vida. Rubrica: 3 = cinco etapas com ataques adequados; 2 = quatro; 1 = duas; 0 = nenhuma.
- EX029 — Classificação. Classifique quatro cenários da Brightwell como evasão, envenenamento, privacidade ou injeção. Rubrica: 3 = quatro corretos; 2 = três; 1 = um ou dois; 0 = nenhum.
- EX030 — Papel. Liste cinco controles de segurança de IA que pertencem a um tecnólogo. Rubrica: 3 = cinco adequados; 2 = quatro; 1 = dois; 0 = nenhum.
Síntese
A segurança de IA cobre todo o ciclo de vida e muitas classes de ataque; os tecnólogos são donos da maioria dos controles que tornam os sistemas de IA seguros para operar.
Continue estudando — capítulo 10 de 30
← Capítulo 09 (rascunho) · Índice de capítulos do curso · Capítulo 11 (rascunho) →