Capítulo 20 — Segurança de IA e aprendizado de máquina: contexto de engenharia
Mapa da aula
Aula 20 publicada. Mapa, exemplo, EX058.
flowchart TD
N0["20.1 O ciclo de vida e sua superfície de ataque"]
N1["20.2 O NIST AI RMF como quadro organizador"]
N2["20.3 Qual framework para qual pergunta"]
N3["20.4 Escopo"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX058"]
Desenho lógico
flowchart LR
N0["20.1 O ciclo de vida e sua superfície de ataque"]
N1["20.2 O NIST AI RMF como quadro organizador"]
N2["20.3 Qual framework para qual pergunta"]
N3["20.4 Escopo"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX058"]
[20.1 O ciclo de vida e sua superfície de ataque]
|
v
[20.2 O NIST AI RMF como quadro organizador]
|
v
[20.3 Qual framework para qual pergunta]
|
v
[20.4 Escopo]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX058]
Objetivos de aprendizagem
Você vai (1) descrever o ciclo de vida da IA (dados, treinamento, avaliação, implantação, monitoramento, desativação) e suas superfícies de ataque; (2) usar as funções do NIST AI RMF para organizar o trabalho de engenharia; (3) situar os frameworks — NIST AI 100-2 E2025, OWASP LLM 2025, MITRE ATLAS, ISO/IEC 42001, EU AI Act — por finalidade; e (4) definir o escopo de uma tarefa de engenharia de segurança de IA.
20.1 O ciclo de vida e sua superfície de ataque
A coleta de dados pode ser envenenada; a rotulagem pode ser corrompida; pipelines de treinamento e modelos de terceiros podem carregar backdoors; a avaliação pode ser manipulada ou vazada; modelos implantados enfrentam evasão, extração, inferência de pertencimento e injeção de prompt; o monitoramento pode ser cegado; modelos desativados podem deixar dados para trás. Cada etapa precisa de responsáveis e controles. Dispor as etapas lado a lado mostra que a maioria dos ataques não precisa de nenhum acesso ao modelo implantado: um rótulo envenenado ou um arquivo de terceiro trocado causa seu dano muito antes da implantação. Nomear um responsável para cada etapa evita a lacuna comum em que as equipes de dados supõem que a segurança cuida disso e as equipes de segurança supõem que a qualidade dos dados é trabalho de outra pessoa.
20.2 O NIST AI RMF como quadro organizador
O NIST AI 100-1 define quatro funções. Govern (governar): políticas, papéis, responsabilização. Map (mapear): contexto, uso pretendido, partes interessadas, riscos. Measure (medir): analisar, avaliar e acompanhar riscos com métodos adequados. Manage (gerenciar): priorizar riscos e agir sobre eles. O NIST AI 600-1 traça perfis dessas funções para IA generativa e lista riscos como segurança da informação, confabulação e privacidade de dados, com ações sugeridas. Engenheiros trabalham sobretudo em Map, Measure e Manage, dentro das regras de Govern. As funções se repetem em vez de rodar uma única vez: as medições alimentam decisões de gestão, que mudam o sistema e exigem nova medição.
20.3 Qual framework para qual pergunta
Que ataques existem? O NIST AI 100-2 E2025 (taxonomia e terminologia) e o MITRE ATLAS (táticas, técnicas, estudos de caso). O que dá errado em aplicações de LLM? O OWASP Top 10 for LLM Applications 2025. Como gerenciamos IA em uma organização? A ISO/IEC 42001:2023 (sistema de gestão de IA) e o AI RMF. O que a lei exige? O EU AI Act (Regulamento (UE) 2024/1689) para os sistemas em seu escopo. Frameworks oferecem vocabulário e checklists; não são evidência de que um sistema é seguro. Usar o framework errado para uma pergunta produz lacunas, como quando uma norma organizacional é lida como uma lista de ataques.
20.4 Escopo
Uma tarefa de engenharia precisa de um escopo: qual sistema, quais etapas do ciclo de vida, quais ameaças, quais ativos e o que está fora do escopo. Exclusões explícitas evitam falsa garantia. Um escopo também define expectativas. Se a extração de modelo está fora do escopo, um relatório posterior não pode ser lido como se dissesse que a extração foi testada e considerada impossível. Cada exclusão leva um motivo e uma data de revisão, para não se tornar permanente em silêncio. Os escopos de Sam também listam premissas, como "nenhuma API externa é exposta", porque uma exclusão apoiada em uma premissa precisa ser revista assim que a premissa mudar.
20.5 Exemplo resolvido (caso sintético da NRS)
A NRS pediu a Sam que "protegesse a IA". Sam transformou o pedido em três frentes de trabalho com escopo definido: integridade do TrackEye (envenenamento via empresa terceirizada de rotulagem; marcações adversariais físicas; cadeia de suprimentos das atualizações do modelo), agência do Wrench (injeção de prompt; agência excessiva; divulgação de informações sensíveis) e resiliência do Pulse (falsificação de sensores; deriva do ciclo de realimentação). A extração de modelo ficou explicitamente fora do escopo neste trimestre porque nenhuma API de IA é exposta externamente.
Cada frente segue os ativos e as ameaças de um sistema, de modo que responsáveis e medidas de sucesso ficam claros. A exclusão da extração se apoia em uma premissa, nenhuma API externa, que Sam lista com um gatilho: se a NRS algum dia expuser externamente um serviço de IA, a extração volta ao escopo.
20.6 Erros e limites
Três erros são comuns: usar o checklist de um framework como prova de segurança; escopos sem exclusões; e ignorar as etapas iniciais do ciclo de vida (dados, rotulagem). Um checklist preenchido mostra que os temas foram considerados, não que os controles funcionam; a evidência vem de testes e medições. Um escopo sem exclusões dá a entender que tudo foi examinado, o que raramente é verdade. As etapas iniciais do ciclo de vida são fáceis de ignorar porque parecem gestão de dados, e não segurança; no entanto, os ataques de envenenamento e de rotulagem começam ali e são os mais difíceis de encontrar depois, quando o modelo já aprendeu com os dados ruins.
Exercícios
- EX058 — Ciclo de vida. Para cada uma de cinco etapas do ciclo de vida, nomeie um ataque. Rubrica: 3 = cinco pares corretos; 2 = quatro; 1 = dois; 0 = nenhum.
- EX059 — RMF. Atribua três atividades de Sam a funções do AI RMF. Rubrica: 3 = três corretas, com justificativas; 2 = duas; 1 = uma; 0 = nenhuma.
- EX060 — Escolha de framework. Qual framework responde "que riscos de aplicações de LLM nossa revisão de projeto deve cobrir?" e por quê? Rubrica: 3 = OWASP LLM 2025 (com ATLAS/600-1 como complementos), com justificativa; 2 = só o nome; 1 = incompatível; 0 = nenhum.
Síntese
A engenharia de segurança de IA começa pelo ciclo de vida, por um quadro organizador e pelo framework certo para cada pergunta — e depois por um escopo que diz o que está dentro e o que está fora.
Continue estudando — capítulo 20 de 50
← Capítulo 19 (rascunho) · Índice de capítulos do curso · Capítulo 21 (rascunho) →