◇ OpenCyber Academy
Pesquisa doutoral · Capítulo 2 · Português

Capítulo 2 — Segurança de IA e aprendizado de máquina: fronteira da pesquisa

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 2 — Segurança de IA e aprendizado de máquina: fronteira da pesquisa

Mapa da aula

Aula 02 publicada. Mapa, exemplo, EX008.

flowchart TD
  N0["2.1 Quatro famílias clássicas de ataque"]
  N1["2.2 Sistemas generativos e agênticos"]
  N2["2.3 A governança como contexto da pesquisa"]
  N3["2.4 Encontrar problemas em aberto"]
  N4["2.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX008"]

Desenho lógico

flowchart LR
  N0["2.1 Quatro famílias clássicas de ataque"]
  N1["2.2 Sistemas generativos e agênticos"]
  N2["2.3 A governança como contexto da pesquisa"]
  N3["2.4 Encontrar problemas em aberto"]
  N4["2.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX008"]

[2.1 Quatro famílias clássicas de ataque]
    |
    v
[2.2 Sistemas generativos e agênticos]
    |
    v
[2.3 A governança como contexto da pesquisa]
    |
    v
[2.4 Encontrar problemas em aberto]
    |
    v
[2.6 Atividades práticas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX008]

Objetivos de aprendizagem

Você vai (1) mapear a superfície de ataque da IA preditiva e generativa usando a taxonomia do NIST AI 100-2 E2025, o MITRE ATLAS e o OWASP Top 10 for LLM Applications 2025; (2) resumir os resultados fundadores em evasão, envenenamento, privacidade e extração; (3) explicar por que a injeção de prompt é um problema de arquitetura, e não de filtragem; (4) localizar problemas em aberto onde uma contribuição de doutorado é plausível; e (5) relacionar a pesquisa a frameworks de governança (NIST AI RMF, ISO/IEC 42001, o AI Act da UE).

2.1 Quatro famílias clássicas de ataque

A evasão altera uma entrada no momento do teste para que um modelo erre. Szegedy et al. (arXiv:1312.6199) descobriram que perturbações imperceptíveis enganam classificadores de imagens; Goodfellow, Shlens e Szegedy (arXiv:1412.6572) explicaram isso pela linearidade local e introduziram o método do sinal do gradiente rápido (FGSM). Carlini e Wagner (arXiv:1608.04644) apresentaram ataques de otimização mais fortes; Madry et al. (arXiv:1706.06083) formularam a robustez como um problema de mín–máx e popularizaram o treinamento adversarial com descida de gradiente projetada. Cohen, Rosenfeld e Kolter (arXiv:1902.02918) ofereceram robustez certificada por suavização aleatória (randomized smoothing), ao custo de acurácia e com garantias apenas para perturbações pequenas limitadas em norma.

O envenenamento corrompe os dados de treino ou o processo de treinamento. Biggio, Nelson e Laskov (arXiv:1206.6389) envenenaram máquinas de vetores de suporte; Gu et al., com BadNets (arXiv:1708.06733), e Chen et al. (arXiv:1712.05526) mostraram backdoors que mantêm a acurácia limpa enquanto um gatilho força uma saída-alvo. Carlini et al. (arXiv:2302.10149) mostraram que envenenar conjuntos de dados em escala da web é viável, por exemplo comprando domínios expirados referenciados em listas de URLs de conjuntos de dados. Hubinger et al., com Sleeper Agents (arXiv:2401.05566), treinaram modelos de linguagem com comportamento de backdoor que persistiu após o ajuste fino de segurança padrão.

Os ataques de privacidade inferem informações sobre os dados de treino. Shokri et al. (arXiv:1610.05820) introduziram a inferência de pertencimento (membership inference); Carlini et al. (arXiv:2012.07805) extraíram sequências de treino literais de um grande modelo de linguagem. O treinamento com privacidade diferencial (Abadi et al., arXiv:1607.00133) limita formalmente esse vazamento, a um custo de utilidade.

A extração copia a funcionalidade de um modelo por meio da sua API. Tramèr et al. (arXiv:1609.02943) roubaram modelos de APIs de predição, às vezes com um número de consultas próximo ao número de parâmetros, no caso de modelos simples.

O laboratório de brinquedo abaixo reproduz a intuição da evasão num modelo linear: a acurácia cai de forma contínua à medida que o orçamento de perturbação cresce, embora o modelo seja preciso nos dados limpos.

"""Lab E: evasion of a toy linear classifier (synthetic data, stdlib only).
Trains logistic regression on two synthetic clusters, then applies a
fast-gradient-sign (FGSM-style) perturbation of size eps to every test point
and reports clean vs adversarial accuracy. Teaching model only."""
import math, random
rng = random.Random(7)
def point(label):
    cx = 1.0 if label else -1.0
    return [rng.gauss(cx, 0.7), rng.gauss(cx, 0.7)], label
train = [point(i % 2) for i in range(400)]
test = [point(i % 2) for i in range(200)]
w, b = [0.0, 0.0], 0.0
sig = lambda z: 1 / (1 + math.exp(-z))
for epoch in range(200):
    gw, gb = [0.0, 0.0], 0.0
    for x, y in train:
        p = sig(w[0]*x[0] + w[1]*x[1] + b)
        gw[0] += (p - y)*x[0]; gw[1] += (p - y)*x[1]; gb += p - y
    w = [w[i] - 0.1*gw[i]/len(train) for i in range(2)]; b -= 0.1*gb/len(train)
def acc(data, eps):
    ok = 0
    for x, y in data:
        # gradient of the loss w.r.t. x is (p - y) * w; FGSM steps along its sign
        p = sig(w[0]*x[0] + w[1]*x[1] + b)
        xa = [x[i] + eps*math.copysign(1, (p - y)*w[i]) for i in range(2)]
        ok += (sig(w[0]*xa[0] + w[1]*xa[1] + b) >= 0.5) == bool(y)
    return ok / len(data)
print(f"weights w=({w[0]:.3f}, {w[1]:.3f}) b={b:.3f}")
for eps in (0.0, 0.25, 0.5, 0.75, 1.0):
    print(f"eps={eps:.2f} accuracy={acc(test, eps):.3f}")

Saída esperada:

weights w=(1.795, 1.756) b=-0.080
eps=0.00 accuracy=0.985
eps=0.25 accuracy=0.950
eps=0.50 accuracy=0.840
eps=0.75 accuracy=0.660
eps=1.00 accuracy=0.505

2.2 Sistemas generativos e agênticos

Os grandes modelos de linguagem (LLMs) acrescentam novas superfícies. Os jailbreaks obtêm conteúdo que o treinamento de segurança deveria impedir; Wei, Haghtalab e Steinhardt (arXiv:2307.02483) os atribuíram a objetivos concorrentes e a generalização incompatível, e Zou et al. (arXiv:2307.15043) encontraram sufixos otimizados automaticamente que se transferem entre modelos. A injeção de prompt é diferente: um atacante coloca instruções em conteúdo que a aplicação fornece ao modelo. Perez e Ribeiro (arXiv:2211.09527) estudaram o sequestro direto de objetivo; Greshake et al. (arXiv:2302.12173) mostraram a injeção indireta por páginas web, e-mails e documentos que uma aplicação integrada a um LLM recupera, levando à exfiltração de dados e ao uso indevido de ferramentas; Liu et al. (arXiv:2306.05499) atacaram aplicações reais integradas a LLMs. O OWASP Top 10 for LLM Applications 2025 lista a injeção de prompt como LLM01 e acrescenta divulgação de informações sensíveis, cadeia de suprimentos, envenenamento de dados e de modelo, tratamento inadequado de saídas, agência excessiva, vazamento do prompt de sistema, fraquezas de vetores e embeddings, desinformação e consumo ilimitado.

A injeção é um problema de arquitetura porque um LLM recebe instruções e dados num único fluxo de tokens; não há uma fronteira, como a do hardware, entre eles. Por isso as defesas combinam estrutura (Chen et al., StruQ, arXiv:2402.06363, treina modelos para seguir apenas instruções num canal reservado), redução de privilégios (ferramentas de menor privilégio, listas de permissões, confirmação humana para ações com consequências) e detecção. O NIST AI 600-1 lista a segurança da informação e riscos relacionados para IA generativa, com ações sugeridas; o MITRE ATLAS cataloga táticas e técnicas de adversários contra sistemas de IA, com estudos de caso, no estilo do ATT&CK.

2.3 A governança como contexto da pesquisa

O NIST AI RMF 1.0 (AI 100-1) organiza o trabalho de risco nas funções Govern, Map, Measure e Manage e lista características de uma IA confiável, entre elas segura e resiliente. A ISO/IEC 42001:2023 especifica um sistema de gestão de IA. O Regulamento (UE) 2024/1689 (o AI Act) entrou em vigor em 1º de agosto de 2024, com aplicação escalonada; o Artigo 15 exige que sistemas de alto risco atinjam acurácia, robustez e cibersegurança adequadas, nomeando envenenamento de dados, envenenamento de modelo, exemplos adversariais e ataques à confidencialidade. Uma contribuição de doutorado que ofereça um método de medição dessas propriedades pode, portanto, importar além da academia — mas você não deve exagerar conclusões jurídicas.

2.4 Encontrar problemas em aberto

Boas perguntas de fronteira ficam onde (a) os ataques são baratos e as defesas são avaliadas de forma fraca, (b) teoria e prática divergem, ou (c) um padrão de implantação ultrapassou a avaliação. Exemplos atuais incluem avaliar defesas de agentes sob atacantes adaptativos; medir o risco residual quando não existe limite certificado; a integridade da cadeia de suprimentos de pesos de modelos e conjuntos de dados; e a auditoria de privacidade de modelos com ajuste fino. Escreva cada uma como um enunciado de lacuna: o que se sabe, o que se alega mas não foi testado, por que importa, que evidência a resolveria. A lacuna de Ana, no exemplo resolvido, mostra a forma.

2.5 Exemplo resolvido (caso sintético do MAAL)

Ana mapeou 31 artigos sobre defesas contra injeção de prompt numa tabela com as colunas: modelo de ameaça, ataque adaptativo (sim/não), métrica, custo de utilidade relatado, código publicado. Dezoito artigos avaliaram apenas listas fixas de cargas; nove não relataram custo de utilidade; seis publicaram código. O seu enunciado de lacuna: alega-se que as defesas estruturais generalizam, mas poucas avaliações usam atacantes que se adaptam à própria estrutura, e os custos de utilidade raramente são medidos nas mesmas tarefas. Essa lacuna é estreita o bastante para ser testada e ampla o bastante para importar.

2.6 Atividades práticas

  1. Monte a sua própria tabela de mapeamento para vinte artigos da sua subárea. 2. Classifique três estudos de caso do MITRE ATLAS por objetivo e capacidade do atacante segundo o NIST AI 100-2. 3. Reescreva um problema em aberto como um enunciado de lacuna em quatro partes. Para a tabela de mapeamento, use as mesmas colunas de Ana: modelo de ameaça, ataque adaptativo, métrica, custo de utilidade e publicação de código, e conte cada coluna no fim. Para os estudos de caso do ATLAS, anote onde um caso não se encaixa com clareza nas categorias do NIST; esse desencontro é útil por si só. Para o enunciado de lacuna, verifique se a parte de evidência nomeia um experimento que você poderia de fato executar dentro do doutorado.

2.7 Erros e limites

Cada uma destas confusões leva ao estudo errado; verifique cada uma delas no seu capítulo de trabalhos relacionados:

Exercícios

Síntese

A fronteira foi moldada por uma década de ataques que avançaram mais rápido do que as defesas. Os sistemas generativos e agênticos a ampliam, porque instruções e dados compartilham um canal. Uma boa pergunta de doutorado se apoia numa lacuna medida e usa vocabulários compartilhados para que outros possam testá-la.

Continue estudando — capítulo 02 de 08

← Capítulo 01 (rascunho) · Índice de capítulos do curso · Capítulo 03 (rascunho) →