Capítulo 5 — Letramento em segurança
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX013.
flowchart TD
N0["5.1 CID para IA"]
N1["5.2 Vocabulário"]
N2["5.3 Frameworks"]
N3["5.4 Prática autorizada"]
N4["5.4b Relatando um achado"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX013"]
Desenho lógico
flowchart LR
N0["5.1 CID para IA"]
N1["5.2 Vocabulário"]
N2["5.3 Frameworks"]
N3["5.4 Prática autorizada"]
N4["5.4b Relatando um achado"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX013"]
[5.1 CID para IA]
|
v
[5.2 Vocabulário]
|
v
[5.3 Frameworks]
|
v
[5.4 Prática autorizada]
|
v
[5.4b Relatando um achado]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX013]
Objetivos de aprendizagem
Você vai (1) usar confidencialidade, integridade e disponibilidade para descrever riscos de IA; (2) interpretar corretamente ameaça, vulnerabilidade e risco; (3) conhecer os principais frameworks de segurança de IA; e (4) explicar a prática autorizada.
5.1 CID para IA
Confidencialidade: dados de treino, prompts, prompts de sistema e registros de clientes não podem vazar. Integridade: as saídas e as ações do modelo não podem ser manipuladas — por injeção, envenenamento ou entradas adversariais. Disponibilidade: os serviços não podem ser esgotados nem desativados. O NIST AI 100-2 E2025 usa objetivos semelhantes (disponibilidade, integridade, privacidade) para classificar ataques. No Ask Brightwell, os três objetivos correspondem a três testes: se um cliente consegue ver o pedido de outro, se um texto plantado consegue fazer o assistente iniciar uma devolução e se uma inundação de requisições consegue esgotar o orçamento de tokens. Cada capítulo seguinte acrescenta um controle para um deles.
5.2 Vocabulário
Uma ameaça é uma possível causa de dano (um fraudador). Uma vulnerabilidade é uma fraqueza (o assistente pode ser instruído a iniciar devoluções para outras pessoas). O risco combina probabilidade e impacto. Um controle reduz o risco. Ser preciso ajuda as equipes a concordar sobre o que corrigir. No caso da Brightwell, a consulta de pedidos entre clientes era uma vulnerabilidade; um fraudador que quer reembolsos é a ameaça; o serviço de políticas é o controle. Manter essas palavras separadas impede que uma equipe chame o fraudador de vulnerabilidade ou o modelo de ameaça, o que confunde quem deve agir. Isso também ajuda a escrever um relatório de achado, porque cada parte tem um leitor diferente.
5.3 Frameworks
O NIST AI RMF (AI 100-1) organiza o trabalho com riscos em Governar, Mapear, Medir e Gerenciar. O OWASP Top 10 for LLM Applications 2025 lista riscos comuns de aplicações, de LLM01 Injeção de Prompt a LLM10 Consumo Ilimitado. O MITRE ATLAS cataloga técnicas de atacantes contra IA. A ISO/IEC 42001 define um sistema de gestão de IA. Jonas os usa em conjunto na Brightwell: a lista do OWASP para nomear riscos de aplicação no Ask Brightwell, o ATLAS para ataques ao ReturnGuard, como a extração, e as funções do AI RMF para organizar o trabalho. A ISO/IEC 42001 passa a ser relevante se a Brightwell buscar certificação para sua gestão de IA.
5.4 Prática autorizada
Teste apenas sistemas que você está autorizado a testar, por escrito, dentro do escopo. Use cópias isoladas e dados sintéticos. Relate os achados pelos canais combinados. Curiosidade não é autorização. A autorização de Jonas cobre a cópia de homologação do Ask Brightwell, não a produção. Quando quis verificar se a consulta entre clientes também funcionava em produção, ele perguntou ao gestor em vez de tentar, e o teste foi feito na homologação, com contas de teste. Todos os testes posteriores deste livro ficam dentro do mesmo escopo escrito. O escopo escrito também protege Jonas se um teste na homologação quebrar algo, porque o teste foi combinado com antecedência.
5.4b Relatando um achado
Um bom relatório de achado informa o sistema e a versão, os passos para reproduzir na cópia autorizada, o efeito observado, o impacto em termos de CID, uma severidade e uma correção sugerida. Mantenha-o factual e evite detalhes de exploração além do que a equipe que vai corrigir precisa. O relatório de Jonas sobre a consulta entre clientes seguiu esse formato: versão de homologação, a requisição "mostre o pedido 100245" feita por outro cliente de teste, o endereço exibido, um impacto de confidencialidade e a correção no serviço de ferramentas. O relatório deixou de fora qualquer formulação que ajudasse a usar a falha indevidamente.
5.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas lista os riscos do Ask Brightwell em termos de CID: confidencialidade — detalhes de pedidos de outros clientes; integridade — uma avaliação plantada instrui o assistente a aprovar devoluções; disponibilidade — inundações de tokens. Ele associa o segundo ao OWASP LLM01 e ao LLM06 (agência excessiva) e confirma que sua autorização de testes cobre apenas a cópia de homologação. Escrever os riscos dessa forma deu a cada um deles um teste que ele podia rodar na homologação e um controle a propor. Confirmar o escopo da autorização antes de testar manteve o trabalho na cópia de homologação, onde avaliações plantadas e clientes de teste não podem causar dano.
5.6 Erros e limites
Três erros são comuns: chamar todo problema de "vulnerabilidade"; testar a produção "só para conferir"; e usar frameworks sem associá-los ao sistema. A lista de Jonas para o Ask Brightwell evitou esses erros. O risco de inundação de tokens é descrito como uma lacuna de projeto, e não como uma vulnerabilidade do modelo; todos os testes ficaram na homologação; e cada entrada de framework está ligada a uma parte do desenho. Um rótulo que não pode ser rastreado até um componente não diz a ninguém o que corrigir. Esses hábitos tornam seus relatórios posteriores fáceis de transformar em ação pelos desenvolvedores.
Exercícios
- EX013 — CID. Dê um risco de confidencialidade, um de integridade e um de disponibilidade para o ReturnGuard. Rubrica: 3 = três adequados; 2 = dois; 1 = um; 0 = nenhum.
- EX014 — Vocabulário. Identifique ameaça, vulnerabilidade, risco e controle num cenário curto. Rubrica: 3 = os quatro corretos; 2 = três; 1 = um ou dois; 0 = nenhum.
- EX015 — Autorização. Um amigo pede que você teste o chatbot da empresa dele. O que precisa existir antes? Rubrica: 3 = autorização escrita do dono, escopo, regras, canal de relato; 2 = três; 1 = um; 0 = simplesmente testar.
Síntese
O letramento em segurança oferece palavras comuns — CID, ameaça, vulnerabilidade, risco, controle —, frameworks comuns e a disciplina da prática autorizada.
Continue estudando — capítulo 05 de 30
← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →