Capítulo 19 — Segurança de IA e aprendizado de máquina: escopo e teoria
Mapa da aula
Aula 19 publicada. Mapa, exemplo, EX055.
flowchart TD
N0["19.1 Definições"]
N1["19.2 A taxonomia"]
N2["19.3 Por que o aprendizado de máquina é vulnerável"]
N3["19.4 Frameworks"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX055"]
Desenho lógico
flowchart LR
N0["19.1 Definições"]
N1["19.2 A taxonomia"]
N2["19.3 Por que o aprendizado de máquina é vulnerável"]
N3["19.4 Frameworks"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX055"]
[19.1 Definições]
|
v
[19.2 A taxonomia]
|
v
[19.3 Por que o aprendizado de máquina é vulnerável]
|
v
[19.4 Frameworks]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX055]
Objetivos de aprendizagem
Você vai (1) definir segurança de IA e distingui-la de safety de IA e de IA responsável; (2) descrever as classes de ataque da taxonomia NIST AI 100-2 E2025; (3) explicar por que o aprendizado de máquina é vulnerável em princípio; e (4) situar os principais frameworks.
19.1 Definições
A segurança de IA protege os sistemas de IA e os processos ao seu redor contra ataques deliberados e mau uso, e protege terceiros de ataques viabilizados por IA. A safety de IA trata de comportamentos nocivos mesmo sem atacante. A IA responsável abrange equidade, transparência e responsabilização. As áreas se sobrepõem: uma injeção de prompt é um ataque de segurança que pode causar resultados inseguros ou injustos. Na LCH, as três se encontram num único sistema. Um documento de parceiro que faz o Ask Lumen anunciar o falso fechamento de uma clínica é um ataque, então pertence à segurança; os pacientes que em seguida deixam de ser atendidos são um resultado de safety. Rina mantém os termos separados em seus relatórios para que cada equipe saiba quais problemas são seus.
19.2 A taxonomia
O NIST AI 100-2 E2025 classifica os ataques a IA preditiva pelo objetivo — quebra de disponibilidade, violação de integridade, comprometimento da privacidade — e acrescenta o mau uso para a IA generativa. As classes de ataque incluem evasão (entradas em tempo de teste), envenenamento (dados de treinamento ou modelo), ataques de privacidade (inferência de pertencimento, reconstrução de dados, extração de modelo) e, para sistemas generativos, injeção de prompt direta e indireta. Os atacantes são caracterizados pelo conhecimento (caixa-branca, caixa-cinza, caixa-preta) e pelas capacidades (controle dos dados de treinamento, controle do modelo, acesso por consulta). Rina situa cada sistema da LCH nela. O Ask Lumen é generativo, então se aplicam injeção de prompt e mau uso; o NoShow e o DocSort são preditivos. Um atacante externo costuma ter apenas acesso por consulta em caixa-preta, enquanto um terceirizado que rotula as cartas do DocSort tem controle dos dados de treinamento, uma capacidade mais forte.
19.3 Por que o aprendizado de máquina é vulnerável
Os modelos aprendem padrões estatísticos a partir de dados, não regras; generalizam de forma imperfeita e são sensíveis a mudanças pequenas e cuidadosamente escolhidas na entrada (Szegedy et al., arXiv:1312.6199; Goodfellow et al., arXiv:1412.6572). Herdam tudo o que seus dados contêm, inclusive veneno. Grandes modelos de linguagem seguem instruções encontradas em qualquer parte de sua entrada. Essas propriedades são inerentes, então a segurança se apoia em controles em camadas, e não numa correção única. O laboratório de evasão mostra isso concretamente: o mesmo classificador de brinquedo que marca 0.985 com entradas limpas cai para cerca do acaso quando o orçamento de perturbação chega a um, sem nenhuma mudança no modelo em si.
19.4 Frameworks
O NIST AI RMF (AI 100-1) e seu Generative AI Profile (AI 600-1) organizam a gestão de riscos; o OWASP LLM 2025 lista riscos de aplicações; o MITRE ATLAS cataloga técnicas de adversários com estudos de caso; a ISO/IEC 42001 especifica um sistema de gestão de IA; o AI Act da UE estabelece deveres legais para alguns sistemas. Eles respondem a perguntas diferentes. Rina usa o OWASP para verificar os riscos de aplicação do Ask Lumen, o ATLAS para encontrar exemplos reais de ataques para sua apresentação aos funcionários e o AI RMF para estruturar o processo geral de riscos da LCH. Se o AI Act da UE se aplica depende do uso de cada sistema, então ela registra essa avaliação separadamente, em vez de supor que uma resposta cobre os três sistemas.
19.5 Exemplo resolvido (caso sintético da LCH)
Rina classificou os riscos da LCH: Ask Lumen — injeção indireta de prompt por documentos (integridade), divulgação de informações sensíveis (privacidade); NoShow — inferência de pertencimento (privacidade), manipulação de campos controlados pelo paciente (integridade, evasão); DocSort — cartas elaboradas para encaminhar errado (evasão), envenenamento por cartas de treinamento rerrotuladas (integridade). A classificação mostrou que cada sistema tinha riscos de privacidade e de integridade, mas por caminhos diferentes. A principal exposição do Ask Lumen era o que ele lê; a do NoShow, o que ele revela; a do DocSort, quem moldou seus dados de treinamento. Essa diferença levou Rina a designar responsáveis diferentes: a equipe do chatbot, o encarregado de proteção de dados e a equipe de prontuários.
19.6 Erros e limites
Três erros são comuns: tratar a segurança de IA apenas como jailbreaks de chatbots; esperar que um único controle corrija vulnerabilidades inerentes; e misturar os termos safety e segurança. Concentrar-se em jailbreaks teria deixado de lado por completo o risco de envenenamento do DocSort, já que ninguém conversa com o DocSort. Nenhum controle isolado cobre evasão, envenenamento e injeção, então a LCH precisa de várias camadas. Usar "safety" quando se quer dizer "segurança" deixa incerto se um atacante é suposto, o que muda os testes que devem ser feitos e quem é responsável por corrigir o problema. Os relatórios de Rina mantêm os termos separados, de modo que um falso fechamento de clínica causado por um documento de parceiro é registrado como ataque, e o atendimento perdido pelos pacientes, como resultado de safety.
Exercícios
- EX055 — Definições. Classifique: um chatbot dá um conselho errado sobre medicação sem nenhum atacante; um atacante o faz revelar dados de outro paciente. Rubrica: 3 = safety vs segurança, com razões; 2 = só os rótulos; 1 = um; 0 = errado.
- EX056 — Taxonomia. Classifique a elaboração de cartas contra o DocSort por objetivo, etapa e conhecimento. Rubrica: 3 = integridade, implantação/evasão, caixa-preta ou caixa-cinza; 2 = dois; 1 = um; 0 = nenhum.
- EX057 — Inerente. Dê duas razões pelas quais o aprendizado de máquina é vulnerável em princípio. Rubrica: 3 = generalização estatística/sensibilidade, dependência dos dados, seguimento de instruções na entrada; 2 = uma; 1 = vago; 0 = errado.
Síntese
A segurança de IA tem um escopo preciso e um vocabulário compartilhado. Suas vulnerabilidades são estruturais, e é por isso que o resto do livro constrói defesas em camadas e medidas.
Continue estudando — capítulo 19 de 40
← Capítulo 18 (rascunho) · Índice de capítulos do curso · Capítulo 20 (rascunho) →