Capítulo 16 — Arquitetura de segurança
Mapa da aula
Aula 16 publicada. Mapa, exemplo, EX046.
flowchart TD
N0["16.1 Princípios aplicados à IA"]
N1["16.2 Fronteiras de confiança em aplicações com LLM"]
N2["16.3 O ponto de aplicação de políticas"]
N3["16.4 Comparação de opções"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX046"]
Desenho lógico
flowchart LR
N0["16.1 Princípios aplicados à IA"]
N1["16.2 Fronteiras de confiança em aplicações com LLM"]
N2["16.3 O ponto de aplicação de políticas"]
N3["16.4 Comparação de opções"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX046"]
[16.1 Princípios aplicados à IA]
|
v
[16.2 Fronteiras de confiança em aplicações com LLM]
|
v
[16.3 O ponto de aplicação de políticas]
|
v
[16.4 Comparação de opções]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX046]
Objetivos de aprendizagem
Você vai (1) aplicar menor privilégio, defesa em profundidade, mediação completa e padrões à prova de falhas a sistemas de IA; (2) traçar fronteiras de confiança em aplicações com LLM; (3) posicionar um ponto de aplicação de políticas fora do modelo; e (4) comparar opções de arquitetura pelo risco residual.
16.1 Princípios aplicados à IA
Menor privilégio: dê ao modelo e às suas ferramentas apenas as permissões necessárias. Defesa em profundidade: combine rotulagem das entradas, validação das saídas, verificações de política, monitoramento e revisão humana. Mediação completa: verifique toda ação, todas as vezes. Padrões à prova de falhas: negue na dúvida. No Ask Lumen, menor privilégio é o token delegado; defesa em profundidade combina a rotulagem do texto recuperado, a análise das saídas, a verificação de política e o registro em log; mediação completa significa que toda marcação passa pela verificação de política, inclusive as propostas no fim de uma conversa longa; padrões à prova de falhas significam que uma proposta impossível de analisar ou duvidosa é recusada, e o paciente é informado de como marcar por telefone.
16.2 Fronteiras de confiança em aplicações com LLM
Um modelo de linguagem recebe instruções confiáveis (dos desenvolvedores), entradas parcialmente confiáveis (dos usuários) e conteúdo não confiável (documentos recuperados, páginas web, resultados de ferramentas) numa única sequência de tokens. Ele não consegue distingui-los de forma confiável, e é por isso que a injeção indireta de prompt funciona (Greshake et al., arXiv:2302.12173). A arquitetura precisa, portanto, impor as consequências fora do modelo. No Ask Lumen, o prompt de sistema é confiável, a mensagem do paciente é parcialmente confiável, e os documentos recuperados das clínicas, especialmente os enviados por parceiros, não são confiáveis. Rotulá-los ajuda o modelo, mas não garante que ele ignore instruções dentro de um documento, então são as próprias verificações da ferramenta de agendamento que limitam o resultado.
16.3 O ponto de aplicação de políticas
O modelo propõe ações; um componente separado, pequeno e testado decide se elas serão executadas, com base na identidade do usuário, na ação, em seus parâmetros e em se conteúdo não confiável a influenciou. Ações de alto impacto exigem confirmação humana. É aqui que se trata o OWASP LLM06 (agência excessiva). Manter esse componente pequeno é deliberado: algumas centenas de linhas de código podem ser revisadas e testadas a fundo, ao contrário do modelo. No Ask Lumen, o ponto de política compara o paciente da marcação com o titular do token, verifica as regras de clínica e data e exige confirmação para cancelamentos. Toda decisão, permitida ou recusada, é registrada com o identificador da requisição.
16.4 Comparação de opções
As opções para um chatbot de agendamento vão de nenhuma ferramenta (apenas respostas) até o uso livre de ferramentas. Entre elas: ferramentas com verificações de política e confirmações. Compare por risco residual, utilidade e custo, e registre a decisão com seu raciocínio. Risco residual é o que resta depois dos controles; utilidade é quantos pacientes conseguem concluir sua tarefa; custo inclui construir e operar cada opção. Uma tabela com essas três colunas torna o compromisso visível. Registrar o raciocínio permite que uma equipe posterior entenda por que a escolha foi feita e a reveja se as condições mudarem, como no acréscimo de uma nova ferramenta.
16.5 Exemplo resolvido (caso sintético da LCH)
A nota de arquitetura de Rina para o Ask Lumen v2 listou três opções: (a) o modelo marca diretamente; (b) o modelo propõe, a política verifica a identidade do paciente e a clínica, e o paciente confirma na interface; (c) o chatbot dá instruções e os pacientes marcam sozinhos. A LCH escolheu (b): a confirmação acrescenta um clique, mas um texto injetado já não consegue marcar nem cancelar sem uma ação do paciente. A opção (a) foi rejeitada porque um único documento injetado poderia agir; a opção (c), porque eliminava a maior parte do valor do chatbot. O estudo do capítulo de métodos de pesquisa mediu depois o custo do clique extra de (b).
16.6 Erros e limites
Três erros são comuns: regras de segurança escritas apenas no prompt de sistema; ferramentas com permissões mais amplas que as dos usuários; e nenhum registro de por que uma arquitetura foi escolhida. Regras escritas apenas no prompt de sistema podem ser anuladas por um texto persuasivo, já que o modelo trata ambos como linguagem. Ferramentas com permissões mais amplas que as dos usuários deixam um modelo manipulado ir além do que qualquer usuário poderia fazer. Sem um registro de por que uma arquitetura foi escolhida, mudanças posteriores podem remover um controle sem perceber contra o que ele protegia, como a etapa de confirmação que impede marcações injetadas.
Exercícios
- EX046 — Princípios. Aplique três princípios ao DocSort. Rubrica: 3 = três aplicações concretas; 2 = duas; 1 = só os nomes; 0 = nenhuma.
- EX047 — Fronteira. Por que o modelo não consegue impor sozinho a fronteira de confiança? Rubrica: 3 = fluxo único de tokens, seguimento estatístico de instruções; 2 = parcial; 1 = vago; 0 = errado.
- EX048 — Escolha de opção. Defenda a opção (b) em vez da (a) em duas frases. Rubrica: 3 = impacto limitado da injeção com atrito modesto; 2 = parcial; 1 = vago; 0 = nenhuma.
Síntese
A arquitetura de segurança tira a imposição de regras de dentro do modelo: fronteiras de confiança, um ponto de política externo e a confirmação humana limitam o que um modelo manipulado consegue fazer.
Continue estudando — capítulo 16 de 40
← Capítulo 15 (rascunho) · Índice de capítulos do curso · Capítulo 17 (rascunho) →