Capítulo 26 — Segurança de IA e aprendizado de máquina: alternativas de arquitetura
Mapa da aula
Aula 26 publicada. Mapa, exemplo, EX076.
flowchart TD
N0["26.1 Padrões para aplicações de LLM"]
N1["26.2 Padrões para serviços de ML preditivo"]
N2["26.3 Hospedado versus auto-hospedado"]
N3["26.4 Análise de trade-offs"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX076"]
Desenho lógico
flowchart LR
N0["26.1 Padrões para aplicações de LLM"]
N1["26.2 Padrões para serviços de ML preditivo"]
N2["26.3 Hospedado versus auto-hospedado"]
N3["26.4 Análise de trade-offs"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX076"]
[26.1 Padrões para aplicações de LLM]
|
v
[26.2 Padrões para serviços de ML preditivo]
|
v
[26.3 Hospedado versus auto-hospedado]
|
v
[26.4 Análise de trade-offs]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX076]
Objetivos de aprendizagem
Você vai (1) comparar padrões arquiteturais para aplicações de LLM e serviços de ML por suas propriedades de segurança; (2) avaliar padrões como modelo duplo (privilegiado/em quarentena), planejar-e-depois-executar, isolamento da recuperação e humano no circuito; (3) escolher entre modelos hospedados e auto-hospedados com uma lente de ameaças; e (4) justificar uma escolha com uma tabela de trade-offs.
26.1 Padrões para aplicações de LLM
Modelo único com ferramentas: o mais simples, com a maior exposição à injeção, porque texto não confiável e autoridade sobre ferramentas se encontram em um único contexto. Modelo duplo: um modelo em quarentena lê o conteúdo não confiável e devolve apenas saídas estruturadas e restritas (por exemplo, um rótulo de categoria ou números extraídos); um modelo privilegiado planeja ações usando essas saídas, mas nunca vê o texto não confiável bruto. Planejar-e-depois-executar: o modelo se compromete com um plano a partir do pedido do usuário antes de ler dados não confiáveis; o conteúdo lido depois pode preencher parâmetros, mas não acrescentar ações. Isolamento da recuperação: índices sensíveis são separados e filtrados pela identidade do usuário antes que o modelo veja qualquer coisa. Humano no circuito: ações de alto impacto exigem aprovação, com a proveniência exibida.
Esses padrões reduzem o impacto da injeção limitando o que o texto não confiável pode influenciar; nenhum a elimina por completo.
26.2 Padrões para serviços de ML preditivo
Devolva rótulos em vez de vetores completos de probabilidade quando os clientes não precisarem das confianças (isso reduz o sinal para extração e inferência de pertencimento); acrescente validação de entrada e detecção de dados fora da distribuição; use ensembles ou aleatorização onde isso aumentar o custo do ataque; isole o treinamento do serviço. Cada medida aumenta o custo de um ataque específico. Devolver apenas rótulos remove as pontuações detalhadas de que a extração e a inferência de pertencimento dependem, como o laboratório de pertencimento mostrou com saídas de confiança. A detecção de dados fora da distribuição sinaliza entradas diferentes dos dados de treinamento, o que inclui muitas adversariais. Isolar o treinamento do serviço significa que um host de serviço comprometido não consegue alterar os dados com que o próximo modelo aprende.
26.3 Hospedado versus auto-hospedado
Modelos hospedados oferecem operações robustas e atualizações rápidas, mas mudam sem aviso, processam dados fora da sua fronteira e podem restringir testes. Modelos auto-hospedados dão controle e reprodutibilidade, mas tornam você responsável por correções, capacidade e ajuste de segurança. A escolha é uma decisão de risco que envolve proteção de dados, autoridade para testar e confiança na cadeia de suprimentos. Para a NRS, enviar documentos de manutenção ferroviária a um provedor externo pode ser aceitável, enquanto enviar relatórios de RH pode não ser; a classificação dos dados decide tanto quanto a qualidade do modelo. Um modelo hospedado que se atualiza em silêncio também pode invalidar uma avaliação de segurança da noite para o dia, então os contratos devem declarar como as mudanças são anunciadas e se os clientes podem testar.
26.4 Análise de trade-offs
Pontue cada alternativa quanto ao impacto residual de injeção, exposição de dados, utilidade, latência, custo e carga operacional. Torne a ponderação explícita e obtenha a concordância das partes interessadas sobre ela antes de pontuar. Combinar os pesos primeiro evita que a análise seja ajustada para justificar uma favorita. As notas precisam de justificativas curtas, como "modelo duplo: texto não confiável gera apenas um registro fixo, então ações injetadas não alcançam o modelo planejador". Onde um critério como a latência pode ser medido, uma medição substitui a estimativa. O resultado é uma recomendação com sua base visível, que as partes interessadas podem contestar com base nos fatos, e não em preferências, e que pode ser repontuada se os pesos mudarem depois.
26.5 Exemplo resolvido (caso sintético da NRS)
Para o assistente dos planejadores do depósito, Sam comparou modelo único, modelo duplo e planejar-e-depois-executar. O modelo duplo pontuou melhor em impacto de injeção (boletins não confiáveis só produzem um registro restrito de "IDs dos ativos afetados e gravidade"), mas custou 30% a mais de latência. Planejar-e-depois-executar não lidava bem com as perguntas iterativas dos planejadores. A equipe escolheu o modelo duplo para o processamento de boletins e o modelo único para a conversa livre, sem ferramentas.
A decisão dividida combina os pontos fortes dos dois padrões. A conversa livre não tem ferramentas, então uma injeção ali pode, no pior caso, produzir uma resposta enganosa, e os boletins só chegam ao planejamento como registros restritos. O custo de 30% de latência recai apenas sobre o processamento de boletins, que roda em segundo plano, e não enquanto um planejador espera uma resposta.
26.6 Erros e limites
Três erros são comuns: escolher padrões pela moda, e não pelo modelo de ameaças; modelos em quarentena cuja saída "estruturada" é texto livre; e ignorar termos de modelos hospedados que restringem testes de segurança. Um padrão escolhido porque outros o usam pode defender contra ameaças que o sistema não enfrenta e deixar passar as que enfrenta. Um modelo em quarentena que devolve texto livre dá às instruções injetadas um caminho direto até o modelo privilegiado, anulando o propósito do padrão. Termos de modelos hospedados que proíbem testes deixam a equipe incapaz de verificar suas próprias afirmações de segurança, por isso esses termos são verificados antes de a escolha ser feita.
Exercícios
- EX076 — Modelo duplo. Explique por que a saída do modelo em quarentena precisa ser restrita. Rubrica: 3 = texto livre poderia levar instruções injetadas ao modelo privilegiado; um esquema restrito limita a influência; 2 = parcial; 1 = vago; 0 = errado.
- EX077 — Só rótulos. Que dois ataques ficam mais difíceis quando uma API devolve apenas rótulos? Rubrica: 3 = extração e inferência de pertencimento (baseada em confiança); 2 = um; 1 = vago; 0 = errado.
- EX078 — Hospedado vs auto-hospedado. Dê dois motivos de segurança para cada escolha. Rubrica: 3 = dois para cada, corretos; 2 = três no total; 1 = um ou dois; 0 = nenhum.
Síntese
As escolhas de arquitetura determinam até onde a entrada não confiável pode chegar. Os padrões de modelo duplo, planejar-e-depois-executar, isolamento e aprovação trocam latência e flexibilidade por um impacto limitado.
Continue estudando — capítulo 26 de 50
← Capítulo 25 (rascunho) · Índice de capítulos do curso · Capítulo 27 (rascunho) →