Capítulo 1 — Segurança de IA e aprendizado de máquina: fundamentos e decisões

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Como os sistemas de IA funcionam, em resumo"]
  N1["1.2 Como eles falham ou são atacados"]
  N2["1.3 Organizando a decisão"]
  N3["1.4 Opções"]
  N4["1.5 Registrando a decisão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Como os sistemas de IA funcionam, em resumo"]
  N1["1.2 Como eles falham ou são atacados"]
  N2["1.3 Organizando a decisão"]
  N3["1.4 Opções"]
  N4["1.5 Registrando a decisão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"]

[1.1 Como os sistemas de IA funcionam, em resumo]
    |
    v
[1.2 Como eles falham ou são atacados]
    |
    v
[1.3 Organizando a decisão]
    |
    v
[1.4 Opções]
    |
    v
[1.5 Registrando a decisão]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem

Você vai (1) explicar em termos simples como os sistemas de IA funcionam e falham; (2) nomear os principais tipos de ataque e os riscos do OWASP LLM Top 10 2025; (3) usar as funções do NIST AI RMF para organizar uma decisão; (4) comparar opções de adoção, inclusive "agora não"; e (5) registrar uma decisão com responsáveis e gatilhos de revisão.

1.1 Como os sistemas de IA funcionam, em resumo

Um modelo de aprendizado de máquina aprende padrões a partir de exemplos e depois faz previsões — o ReceiptSort aprende quais recibos são de viagem, refeições ou material de escritório. Um modelo de linguagem prevê texto; um assistente de IA envolve um modelo de linguagem com instruções (um prompt de sistema), acesso a dados (e-mails, documentos) e ferramentas (enviar e-mail, criar compromissos). O comportamento do assistente depende de tudo o que está em sua entrada, não apenas das suas instruções. Para a Tallis & Co, isso importa porque o InboxAide lê e-mails escritos por pessoas de fora do escritório. Qualquer parte desse texto passa a integrar a entrada do assistente, ao lado das instruções de Omar e dos documentos do escritório.

1.2 Como eles falham ou são atacados

• Injeção de prompt. Um texto dentro de um e-mail ou documento pode instruir o assistente a fazer outra coisa — por exemplo, encaminhar o arquivo de um cliente. Isso foi demonstrado contra aplicações reais (Greshake et al., arXiv:2302.12173).
• Divulgação de dados. O assistente pode mostrar informações a pessoas que não deveriam vê-las.
• Agência excessiva. Um assistente com ferramentas amplas pode causar danos amplos quando é enganado.
• Desinformação. Respostas erradas dadas com confiança.
• Evasão e envenenamento. Classificadores podem ser enganados por entradas forjadas ou por dados de treinamento corrompidos.
• Consumo ilimitado. O abuso pode fazer os custos dispararem.

O OWASP Top 10 for LLM Applications 2025 nomeia estes riscos: LLM01 Prompt Injection (injeção de prompt), LLM02 Sensitive Information Disclosure (divulgação de informações sensíveis), LLM03 Supply Chain (cadeia de suprimentos), LLM04 Data and Model Poisoning (envenenamento de dados e de modelos), LLM05 Improper Output Handling (tratamento inadequado de saídas), LLM06 Excessive Agency (agência excessiva), LLM07 System Prompt Leakage (vazamento do prompt de sistema), LLM08 Vector and Embedding Weaknesses (fraquezas de vetores e embeddings), LLM09 Misinformation (desinformação) e LLM10 Unbounded Consumption (consumo ilimitado).

1.3 Organizando a decisão

O NIST AI 100-1 (AI RMF) oferece quatro funções. Governar (Govern): quem é responsável pela decisão e pelo risco? Mapear (Map): para que serve o sistema, quem é afetado, que dados e ferramentas ele toca? Medir (Measure): que evidências temos sobre os riscos? Gerenciar (Manage): que controles, que monitoramento e que planos para quando algo der errado? O Perfil de IA Generativa (NIST AI 600-1) lista riscos específicos dos sistemas generativos, a incluir na etapa de mapeamento. Omar usou as quatro funções como títulos da sua primeira página de anotações sobre o InboxAide.

1.4 Opções

Compare sempre mais do que "sim ou não": (a) agora não; (b) piloto limitado — apenas leitura e rascunho, alguns voluntários, nenhum dado de cliente; (c) uso mais amplo com controles — o envio exige um clique humano e os documentos compartilhados são limitados; (d) uso pleno. Prefira opções reversíveis e amplie com base em evidências. Para o InboxAide, a opção (b) pode ser interrompida a qualquer momento e ensina algo ao escritório em qualquer resultado, enquanto a opção (d) exporia as pastas compartilhadas de clientes desde o primeiro dia. Para o ReceiptSort as opções são mais estreitas, porque ele não tem ferramentas e não lê texto de fora. Escreva cada opção com seu principal risco e com o custo de revertê-la.

1.5 Registrando a decisão

Escreva: a pergunta, as opções, as evidências, os riscos para clientes e equipe, a opção escolhida, o responsável, as condições e os gatilhos de revisão (data, incidente, mudança do fornecedor). O registro de Omar para o InboxAide cabe em uma página: a pergunta era se o assistente deveria ser adotado, a opção escolhida foi um piloto de quatro semanas apenas com rascunhos, o responsável é o sócio-diretor e os gatilhos são o fim do piloto, qualquer incidente ou uma mudança de funcionalidade pelo fornecedor. Guarde o registro onde o responsável e a TI possam encontrá-lo e atualize-o quando um gatilho disparar, em vez de escrever um novo.

1.6 Exemplo resolvido (caso sintético da Tallis & Co)

Omar mapeia o InboxAide. Ele lê todo o e-mail — inclusive mensagens de pessoas de fora, que podem conter texto injetado — e pode enviar e-mails e acessar pastas compartilhadas de clientes. O pior dano plausível: declarações de imposto de clientes enviadas a um atacante. Ele compara as opções e recomenda a (b): um piloto de quatro semanas com dez pessoas, apenas rascunhos (sem envio), acesso somente às próprias caixas de correio, sem pastas compartilhadas de clientes. Responsável: o sócio-diretor. Gatilhos de revisão: fim do piloto, qualquer incidente ou mudança de funcionalidade pelo fornecedor. O ReceiptSort tem risco menor (sem ferramentas, sem texto de fora entrando num modelo de linguagem) e segue para uma avaliação normal de software.

1.7 Erros e limites

Três erros são comuns: decidir apenas com base em demonstrações do fornecedor; considerar só as opções "sim ou não"; e não ter responsável nem gatilho de revisão. Cada erro leva a uma decisão fraca. Uma demonstração do fornecedor mostra o produto no seu melhor, com entradas amigáveis e sem texto de fora, por isso diz pouco sobre injeção de prompt em e-mails reais. Ficar só no sim ou não esconde opções mais baratas e reversíveis, como o piloto apenas com rascunhos de Omar. Sem responsável e sem gatilhos de revisão, ninguém percebe quando o fornecedor muda uma funcionalidade ou quando ocorre um incidente. Verifique os três no seu próprio registro de decisão.

Exercícios

• EX001 — Em termos simples. Explique em duas frases como um assistente de IA difere do modelo que está dentro dele. Rubrica: 3 = instruções, dados e ferramentas em torno do modelo; 2 = dois deles; 1 = vago; 0 = errado.
• EX002 — Injeção. Explique a injeção de prompt a um sócio em três frases. Rubrica: 3 = texto no conteúdo conduz o assistente, exemplo, consequência; 2 = dois; 1 = um; 0 = errado.
• EX003 — Divulgação. Dê um cenário de divulgação de dados no InboxAide. Rubrica: 3 = dado específico, quem vê, caminho; 2 = dois; 1 = vago; 0 = nenhum.
• EX004 — Agência. Por que a capacidade de enviar aumenta o risco? Rubrica: 3 = assistente enganado age para fora, irreversível, escala; 2 = dois; 1 = um; 0 = nenhum.
• EX005 — OWASP. Mapeie três riscos do InboxAide para entradas do OWASP. Rubrica: 3 = três corretos; 2 = dois; 1 = um; 0 = nenhum.
• EX006 — ReceiptSort. Nomeie duas ameaças ao ReceiptSort. Rubrica: 3 = evasão e envenenamento com exemplos; 2 = só os nomes; 1 = uma; 0 = nenhuma.
• EX007 — Governar. Quem deve ser responsável pela decisão sobre o InboxAide e por quê? Rubrica: 3 = responsável sênior que presta contas, com autoridade sobre o risco; 2 = só o responsável; 1 = a TI por padrão; 0 = nenhum.
• EX008 — Mapear. Liste quatro perguntas de mapeamento para o InboxAide. Rubrica: 3 = quatro pertinentes; 2 = três; 1 = uma ou duas; 0 = nenhuma.
• EX009 — Medir. Que evidências você gostaria de ter antes de um uso mais amplo? Rubrica: 3 = incidentes do piloto, testes de injeção, documentação do fornecedor, retorno dos usuários; 2 = três; 1 = uma; 0 = nenhuma.
• EX010 — Gerenciar. Liste três controles para o piloto. Rubrica: 3 = três pertinentes; 2 = dois; 1 = um; 0 = nenhum.
• EX011 — Opções. Escreva as quatro opções com um benefício e um risco cada. Rubrica: 3 = as quatro completas; 2 = três; 1 = uma ou duas; 0 = nenhuma.
• EX012 — Reversibilidade. Por que preferir opções reversíveis? Rubrica: 3 = aprender com segurança, dano limitado, reversão barata; 2 = dois; 1 = um; 0 = nenhum.
• EX013 — Registro. Escreva o registro de decisão de Omar. Rubrica: 3 = pergunta, opções, evidências, escolha, responsável, gatilhos; 2 = quatro; 1 = dois; 0 = nenhum.

Síntese

Sistemas de IA são modelos envolvidos por instruções, dados e ferramentas; podem ser conduzidos, vazar informações ou ir além do que deveriam. Organize as decisões com Governar, Mapear, Medir e Gerenciar, compare opções reversíveis e registre responsáveis e gatilhos.

Continue estudando — capítulo 01 de 04

← Página do curso · Índice de capítulos do curso · Capítulo 02 (rascunho) →