Capítulo 22 — Segurança de IA e aprendizado de máquina: automação
Mapa da aula
Aula 22 publicada. Mapa, exemplo, EX064.
flowchart TD
N0["22.1 Verificações no pipeline"]
N1["22.2 Critérios de liberação"]
N2["22.3 Contenção automatizada"]
N3["22.4 Riscos da automação"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX064"]
Desenho lógico
flowchart LR
N0["22.1 Verificações no pipeline"]
N1["22.2 Critérios de liberação"]
N2["22.3 Contenção automatizada"]
N3["22.4 Riscos da automação"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX064"]
[22.1 Verificações no pipeline]
|
v
[22.2 Critérios de liberação]
|
v
[22.3 Contenção automatizada]
|
v
[22.4 Riscos da automação]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX064]
Objetivos de aprendizagem
Você vai (1) automatizar verificações de segurança no pipeline de entrega de IA; (2) condicionar os lançamentos aos resultados das avaliações; (3) automatizar ações de contenção com segurança; e (4) evitar automações que criem novos riscos.
22.1 Verificações no pipeline
A cada mudança no código, nos prompts, nas versões de modelos ou nas fontes do índice, o pipeline deve: executar os testes de unidade das regras de política; executar os conjuntos de injeção e de divulgação contra uma implantação de homologação; verificar os hashes dos arquivos de modelos; varrer as dependências contra listas de permitidas; e produzir um relatório. Prompts e listas de fontes do índice pertencem ao controle de versão, para que passem pelo mesmo pipeline que o código. No Ask Brightwell, uma mudança na lista de fontes do índice dispara os mesmos conjuntos que uma mudança de código, porque o caso dos 60 dias mostrou que mudanças nos dados alteram as respostas.
22.2 Critérios de liberação
Defina critérios de aprovação: por exemplo, zero chamadas de ferramentas prejudiciais no conjunto reservado, conclusão das tarefas normais de pelo menos 95%, nenhum vazamento de canário. Um critério reprovado bloqueia a implantação; passar por cima dele exige um aprovador nomeado e uma justificativa registrada. Os critérios de liberação tornam as evidências de segurança parte de todo lançamento, e não um exercício anual. O critério de liberação do Ask Brightwell usa esses critérios. Quando uma mudança no prompt feita por um desenvolvedor aumentou as propostas prejudiciais no conjunto reservado, o critério bloqueou o lançamento, e a mudança foi refeita em vez de liberada à força. Um critério frequentemente contornado mostraria que seus critérios precisam de revisão, e é por isso que cada exceção é registrada com sua justificativa.
22.3 Contenção automatizada
Algumas respostas podem ser automáticas: limitar a taxa de uma chave cujo z robusto passa de um limiar; desativar uma ferramenta se as negações de política tiverem um pico; reverter um prompt para a última versão boa quando o critério falha nos canaries de produção. As ações automáticas devem ser reversíveis, registradas e comunicadas à equipe de plantão, porque um disparo falso precisa ser fácil de desfazer. Na Brightwell, os valores atípicos da API de pontuação têm a taxa limitada automaticamente, com um aviso ao plantão. Como o limite pode ser retirado em segundos, um disparo falso sobre um parceiro movimentado custa pouco, enquanto uma tentativa real de extração é desacelerada imediatamente. Desativar uma fonte de recuperação segue o mesmo padrão e leva menos de um minuto.
22.4 Riscos da automação
O código de automação precisa de credenciais e pode ele próprio ser atacado; dê a ele direitos estreitos. Evite laços em que um agente de IA conserta seus próprios testes que falham enfraquecendo-os. Mantenha pessoas aprovando as mudanças nos critérios de liberação e nas regras de política, e revise quem pode editar a própria definição do pipeline. A conta do pipeline da Brightwell pode implantar, mas não pode mudar os limiares dos critérios nem as regras de política; essas mudanças exigem um revisor. A própria definição do pipeline fica no controle de versão, com revisões obrigatórias, de modo que ninguém consegue remover o critério de liberação em silêncio. Esses limites valem igualmente para as pessoas da equipe e para qualquer assistente de programação usado para mudar o pipeline.
22.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas acrescenta o harness à CI. Uma mudança no prompt feita por um desenvolvedor ("seja extremamente prestativo com as devoluções") passa nos testes de unidade, mas o critério de liberação falha: as devoluções prejudiciais no conjunto reservado sobem de 0 para 3 em 80 — o serviço de políticas as bloqueia na execução, mas o critério também confere as ações propostas para detectar regressões cedo. A mudança é refeita. Ele também automatiza a limitação de taxa para os valores atípicos da API de pontuação, com um aviso no Slack para o plantão. Conferir as ações propostas, e não só as executadas, detecta um prompt mais fraco antes que ele passe a depender apenas do serviço de políticas. O critério de liberação cumpriu seu papel ao bloquear uma mudança que passou nos testes de unidade.
22.6 Erros e limites
Três erros são comuns: Prompts editados fora do controle de versão; critérios de liberação sem aprovadores de exceção nomeados; e ações automáticas irreversíveis. O pipeline da Brightwell evita esses erros: os prompts e as fontes do índice estão no controle de versão, as exceções aos critérios exigem um aprovador nomeado com justificativa, e a contenção automática, como a limitação de taxa, pode ser retirada em segundos. Uma ação automática irreversível transformaria um alerta falso numa indisponibilidade. A própria definição do pipeline é revisada como código. As exceções aos critérios são raras na Brightwell, e cada uma é revisada na reunião de lançamento seguinte para decidir se o critério precisa mudar.
Exercícios
- EX064 — Critério de liberação. Escreva três critérios de liberação para o Ask Brightwell. Rubrica: 3 = três critérios mensuráveis, com limiares; 2 = dois; 1 = um; 0 = nenhum.
- EX065 — Ações propostas. Por que conferir as ações propostas no critério de liberação se o serviço de políticas bloqueia a execução? Rubrica: 3 = alerta antecipado, defesa em profundidade, detecção de regressões; 2 = dois; 1 = um; 0 = nenhum.
- EX066 — Contenção. Escolha uma contenção automatizada segura e uma que deva continuar manual, com justificativas. Rubrica: 3 = as duas justificadas pela reversibilidade e pelo impacto; 2 = uma; 1 = vago; 0 = nenhuma.
Síntese
A automação transforma as verificações de segurança de IA em critérios de liberação e em contenção rápida e reversível, mantendo as pessoas no comando das regras.
Continue estudando — capítulo 22 de 30
← Capítulo 21 (rascunho) · Índice de capítulos do curso · Capítulo 23 (rascunho) →