Capítulo 26 — Segurança de IA e aprendizado de máquina: passagem operacional
Mapa da aula
Aula 26 publicada. Mapa, exemplo, EX076.
flowchart TD
N0["26.1 Do que as operações precisam"]
N1["26.2 Runbooks de incidentes de IA"]
N2["26.4 Treinamento"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX076"]
Desenho lógico
flowchart LR
N0["26.1 Do que as operações precisam"]
N1["26.2 Runbooks de incidentes de IA"]
N2["26.4 Treinamento"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3 --> Q["EX076"]
[26.1 Do que as operações precisam]
|
v
[26.2 Runbooks de incidentes de IA]
|
v
[26.4 Treinamento]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX076]
Objetivos de aprendizagem
Você vai (1) preparar um sistema de IA para ser passado às operações; (2) escrever runbooks para incidentes específicos de IA; (3) definir objetivos de nível de serviço e de nível de segurança; e (4) treinar a equipe que recebe o sistema.
26.1 Do que as operações precisam
As equipes de operações precisam saber: o que o sistema faz; seus componentes e dependências (incluindo as versões dos modelos dos fornecedores); o comportamento normal (volumes, custos, taxas de negação); os alertas e seus runbooks; como reverter um modelo, um prompt ou um índice; quem é dono do quê; e os riscos residuais conhecidos. Sem isso, o primeiro incidente vira um projeto de pesquisa. O pacote de passagem do Ask Brightwell preparado por Jonas cobre cada item, incluindo a versão fixada do modelo do fornecedor e o interruptor para desativar uma fonte de recuperação. O pacote nomeia um dono para cada item, de modo que a equipe de suporte do Ask Brightwell sabe a quem chamar antes de desligar uma fonte de recuperação.
26.2 Runbooks de incidentes de IA
Escreva playbooks para: suspeita de injeção de prompt que provoca ações; vazamento de dados pelas respostas; regressão de modelo ou de prompt; pico de custo; suspeita de extração de modelo; conteúdo envenenado no índice. Cada um com: detecção, perguntas de triagem, etapas de contenção (desativar a ferramenta, reverter o prompt, remover documentos, limitar a taxa), evidências a preservar, comunicação, recuperação e revisão. No Ask Brightwell, o runbook de injeção foi ensaiado no exercício de mesa: rastrear o reembolso proposto até o documento recuperado, removê-lo e confirmar que o serviço de políticas bloqueou a execução. O runbook de conteúdo envenenado agora usa o interruptor para desativar uma fonte de recuperação, acrescentado depois que o exercício de mesa mostrou que reverter o índice demorava demais.
26.3 Objetivos
Objetivos de serviço: disponibilidade, latência, taxa de erros. Objetivos de segurança: zero ações fora da política executadas; zero vazamentos de canário; tempo para reverter um prompt abaixo de 15 minutos; critério de liberação executado em todo lançamento. Meça-os e revise-os mensalmente, junto com os objetivos de serviço, para que a segurança não seja uma reflexão tardia e separada. No Ask Brightwell, a equipe de operações revisa todo mês as ações fora da política executadas, os vazamentos de canário, o tempo de reversão de prompts e as execuções do critério de liberação. O exercício de mesa acrescentou uma verificação relacionada: o interruptor para desativar uma fonte de recuperação deve funcionar em menos de um minuto. Cada objetivo tem seu próprio quadro no painel de operações.
26.4 Treinamento
Conduza a equipe de operações por um incidente simulado na homologação. Deixe que ela mesma faça a reversão e a contenção. Atualize os runbooks a partir do que a confundiu; um runbook que só seu autor consegue seguir não está pronto.
"""Lab R: token-bucket limits against unbounded consumption (synthetic).
Simulates 60 seconds of requests from a normal client and a flooding client
against a model endpoint with a per-client token bucket."""
import random
rng = random.Random(4)
def simulate(rate_per_s, burst, reqs):
tokens, last, ok = burst, 0.0, 0
for t in reqs:
tokens = min(burst, tokens + (t - last) * rate_per_s); last = t
if tokens >= 1: tokens -= 1; ok += 1
return ok
normal = sorted(rng.uniform(0, 60) for _ in range(90))
flood = sorted(rng.uniform(0, 60) for _ in range(3000))
for rate, burst in ((5, 20), (2, 10), (1, 5)):
print(f"limit={rate}/s burst={burst:2d} normal_served={simulate(rate, burst, normal):3d}/90 "
f"flood_served={simulate(rate, burst, flood):4d}/3000")
Saída esperada:
limit=5/s burst=20 normal_served= 90/90 flood_served= 319/3000
limit=2/s burst=10 normal_served= 90/90 flood_served= 129/3000
limit=1/s burst= 5 normal_served= 62/90 flood_served= 64/3000
No exercício de mesa do Ask Brightwell, o engenheiro de plantão fez pessoalmente a busca nos rastros e a remoção do documento. A etapa confusa, a reversão do índice, foi reescrita depois do exercício. A etapa reescrita foi testada de novo na mesma sessão por um segundo engenheiro, que a concluiu sem ajuda, e só então o runbook foi marcado como pronto para a passagem.
26.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas passa o Ask Brightwell para a equipe de operações. No exercício de mesa, uma página de políticas injetada simulada faz com que reembolsos sejam propostos; o engenheiro de plantão encontra o documento pelos rastros, remove-o e confirma que o serviço de políticas bloqueou a execução. Eles descobrem que a reversão do índice leva 40 minutos; Jonas acrescenta um interruptor de "desativar fonte de recuperação" que funciona em menos de um minuto. O exercício de mesa encontrou um problema que os documentos sozinhos não encontrariam: a reversão do índice era lenta demais. O novo interruptor dá às operações uma etapa de contenção rápida para qualquer fonte envenenada.
26.6 Erros e limites
Três erros são comuns: passagem sem procedimentos de reversão; Runbooks nunca ensaiados; e objetivos de segurança que ninguém mede. A passagem feita por Jonas evitou esses erros. Os procedimentos de reversão foram ensaiados no exercício de mesa, e foi assim que a reversão lenta do índice veio à tona, e os objetivos de segurança são revisados todo mês junto com os objetivos de serviço. Sem o ensaio, a reversão de 40 minutos teria sido descoberta durante um incidente real. O interruptor de desativação veio diretamente do ensaio, e os ensaios agora são agendados a cada trimestre, com um engenheiro de plantão diferente a cada vez, de modo que os runbooks são testados por pessoas que não os escreveram. Um objetivo não cumprido, como uma reversão lenta, recebe um dono na revisão mensal seguinte.
Exercícios
- EX076 — Pacote de passagem. Liste o conteúdo de um pacote de passagem de IA. Rubrica: 3 = sete itens da lista do que as operações precisam; 2 = cinco; 1 = três; 0 = menos.
- EX077 — Runbook. Escreva a seção de contenção do runbook de índice envenenado. Rubrica: 3 = desativar a fonte, remover o documento, verificar, preservar evidências; 2 = três; 1 = um; 0 = nenhum.
- EX078 — Objetivos. Defina três objetivos de segurança, com medidas. Rubrica: 3 = três mensuráveis; 2 = dois; 1 = um; 0 = nenhum.
Síntese
A passagem está completa quando as operações conseguem operar, conter e reverter o sistema de IA sem seus construtores, guiadas por runbooks ensaiados e objetivos medidos.
Continue estudando — capítulo 26 de 30
← Capítulo 25 (rascunho) · Índice de capítulos do curso · Capítulo 27 (rascunho) →