Capítulo 15 — Fundamentos de segurança
Mapa da aula
Aula 15 publicada. Mapa, exemplo, EX043.
flowchart TD
N0["15.1 CIA para a IA"]
N1["15.2 Ameaça, vulnerabilidade, risco, controle"]
N2["15.3 Defesa em profundidade"]
N3["15.4 O conhecimento e as capacidades do atacante"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX043"]
Desenho lógico
flowchart LR
N0["15.1 CIA para a IA"]
N1["15.2 Ameaça, vulnerabilidade, risco, controle"]
N2["15.3 Defesa em profundidade"]
N3["15.4 O conhecimento e as capacidades do atacante"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX043"]
[15.1 CIA para a IA]
|
v
[15.2 Ameaça, vulnerabilidade, risco, controle]
|
v
[15.3 Defesa em profundidade]
|
v
[15.4 O conhecimento e as capacidades do atacante]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX043]
Objetivos de aprendizagem
Você vai (1) aplicar confidencialidade, integridade e disponibilidade (CIA) a ativos de IA; (2) descrever com precisão ameaça, vulnerabilidade, risco e controle; (3) usar defesa em profundidade e menor privilégio; e (4) mapear ataques específicos de IA na taxonomia NIST AI 100-2 E2025.
15.1 CIA para a IA
Confidencialidade: dados de treinamento, prompts, pesos do modelo e saídas. Integridade: dados, pesos, conteúdo de recuperação, decisões do modelo e ações de ferramentas. Disponibilidade: capacidade de inferência e processos de negócio dependentes. O NIST AI 100-2 E2025 organiza os ataques adversariais contra IA preditiva pelo objetivo do atacante — quebra de disponibilidade, violação de integridade, comprometimento de privacidade — e acrescenta a habilitação de uso indevido para a IA generativa. Listar os ativos dessa forma expõe itens que revisões de segurança comuns deixam passar. Prompts podem conter lógica de negócio ou segredos. Pesos podem valer a pena ser roubados. Ações de ferramentas, como uma ordem de serviço criada em nome do Wrench, têm requisitos de integridade porque mudam o mundo físico. A disponibilidade se estende para além do modelo, ao trabalho que depende dele, como a inspeção da via.
15.2 Ameaça, vulnerabilidade, risco, controle
Uma ameaça é uma causa potencial de dano (um agente ou um evento). Uma vulnerabilidade é uma fraqueza que ela pode explorar. O risco combina probabilidade e impacto. Um controle reduz a probabilidade ou o impacto. Para o Wrench: ameaça — um fornecedor malicioso; vulnerabilidade — o modelo segue instruções contidas nos boletins; impacto — ordens de serviço falsas; controle — confirmação humana das ordens de serviço. Escrever o risco como uma cadeia mostra onde um controle atua. A confirmação humana não impede o modelo de seguir instruções; ela limita o impacto, porque uma ordem de serviço falsa precisa da aprovação de uma pessoa antes de ter efeito. Um segundo controle, como rótulos de proveniência, poderia reduzir a probabilidade.
15.3 Defesa em profundidade
Nenhum controle isolado é perfeito, especialmente para modelos cujo comportamento é estatístico. Empilhe controles: rotulagem da proveniência das entradas, instruções no nível do modelo, validação das saídas, aplicação de políticas fora do modelo, ferramentas com menor privilégio, monitoramento e supervisão humana. Cada camada pega algumas falhas das outras. As camadas precisam ser independentes para agregar valor. Se a validação das saídas e a aplicação de políticas dependerem ambas do julgamento do próprio modelo, uma única manipulação bem-sucedida derrota as duas. O projeto do Wrench mantém a política em código, fora do modelo, e exige uma confirmação humana que o modelo não consegue fornecer, então cada camada falha por motivos diferentes. Sam confere isso perguntando, para cada camada, do que um atacante precisaria para contorná-la.
15.4 O conhecimento e as capacidades do atacante
A taxonomia também classifica os atacantes por conhecimento (caixa-branca, caixa-cinza, caixa-preta) e por capacidades (controle dos dados de treinamento, do modelo, das consultas, do código-fonte). Declarar isso transforma medos vagos em modelos de ameaças testáveis. Para o TrackEye, um atacante realista é de caixa-preta com acesso físico: qualquer pessoa que caminhe pela linha pode colocar marcações, mas não consegue ler o modelo. Um terceirizado de rotulagem tem capacidade sobre os dados de treinamento. Cada perfil vira uma campanha de testes com seus próprios métodos, e os resultados são relatados por perfil, já que um modelo robusto contra um pode ser fraco contra outro.
15.5 Exemplo resolvido (caso sintético da NRS)
Sam montou uma tabela CIA para o TrackEye. Confidencialidade: baixa (imagens de trilhos não são secretas), mas os pesos do modelo têm valor comercial. Integridade: crítica — um defeito não detectado é um risco de safety; o envenenamento por meio do terceirizado de rotulagem e as marcações físicas eram as principais ameaças. Disponibilidade: moderada — se o TrackEye cair, a inspeção manual continua, a um custo maior. A tabela direcionou o esforço para os controles de integridade. A integridade é classificada como crítica porque seu impacto é de safety, não financeiro. A disponibilidade é apenas moderada porque existe um recurso manual, embora ataques que forcem esse recurso com frequência elevariam os custos.
15.6 Erros e limites
Três erros são comuns: tratar a "segurança de IA" como se fosse apenas injeção de prompt; projetos com um único controle; e declarações de risco sem impacto. A injeção de prompt importa, mas tratá-la como o campo inteiro ignora o envenenamento, o roubo de modelos, os vazamentos de privacidade e o abuso de recursos. Projetos com um único controle falham por completo quando esse controle é contornado. Declarações de risco que nomeiam uma ameaça sem seu impacto não podem ser priorizadas, porque uma fraqueza que vaza imagens de trilhos e outra que esconde um trilho rachado parecem igualmente urgentes. O registro de riscos de Sam exige, por isso, probabilidade e impacto em toda entrada.
Exercícios
- EX043 — Tabela CIA. Preencha uma tabela CIA para o Pulse (modelo de anomalias de rolamentos). Rubrica: 3 = classificações sensatas, com justificativas, para os três; 2 = dois; 1 = um; 0 = nenhuma.
- EX044 — Termos. Para o Wrench, declare uma ameaça, uma vulnerabilidade, um impacto e um controle relativos à extração do modelo. Rubrica: 3 = os quatro coerentes; 2 = três; 1 = vago; 0 = nenhuma.
- EX045 — Taxonomia. Classifique "um concorrente consulta a API do TrackEye para treinar uma cópia" por objetivo e capacidade. Rubrica: 3 = privacidade/confidencialidade (extração de modelo) com acesso por consultas, caixa-preta; 2 = um; 1 = vago; 0 = errado.
Síntese
Os fundamentos de segurança se aplicam diretamente à IA: CIA para novos ativos, linguagem de risco precisa, controles em camadas e capacidades explícitas do atacante.
Continue estudando — capítulo 15 de 50
← Capítulo 14 (rascunho) · Índice de capítulos do curso · Capítulo 16 (rascunho) →