Capítulo 27 — Implantação e validação
Mapa da aula
Aula 27 publicada. Mapa, exemplo, EX079.
flowchart TD
N0["27.1 Liberação em etapas"]
N1["27.2 Validando em produção"]
N2["27.3 Modo sombra"]
N3["27.4 Seguir ou não seguir"]
N4["27.7 Registrando a decisão de seguir ou não seguir"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX079"]
Desenho lógico
flowchart LR
N0["27.1 Liberação em etapas"]
N1["27.2 Validando em produção"]
N2["27.3 Modo sombra"]
N3["27.4 Seguir ou não seguir"]
N4["27.7 Registrando a decisão de seguir ou não seguir"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX079"]
[27.1 Liberação em etapas]
|
v
[27.2 Validando em produção]
|
v
[27.3 Modo sombra]
|
v
[27.4 Seguir ou não seguir]
|
v
[27.7 Registrando a decisão de seguir ou não seguir]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX079]
Objetivos de aprendizagem
Você vai (1) implantar mudanças de IA com segurança, por meio de liberações em etapas; (2) validar controles de segurança em produção sem prejudicar os usuários; (3) usar canaries e modos sombra; e (4) decidir entre seguir ou não seguir (go/no-go).
27.1 Liberação em etapas
Implante primeiro para uma pequena porcentagem do tráfego e depois aumente enquanto observa as métricas de segurança e de serviço. Use feature flags para que uma ferramenta ou um modelo possa ser desligado instantaneamente. Mantenha a versão anterior pronta para ser restaurada e garanta que a restauração foi testada. O novo prompt do Ask Brightwell foi primeiro para 5% do tráfego, com sondagens de hora em hora a partir de contas de teste, antes de chegar ao tráfego completo. As feature flags permitiam às operações desligar instantaneamente a ferramenta de devoluções. O prompt anterior ficou pronto para ser restaurado, e a restauração foi testada antes do início da etapa de 5%.
27.2 Validando em produção
A validação de segurança em produção não pode prejudicar usuários reais. Use contas de teste e pedidos de teste sintéticos; plante canários apenas em documentos que clientes reais não possam recuperar de forma prejudicial; execute casos de ataque apenas contra contas de teste. Coordene com as operações e obtenha autorização para cada janela de testes. No Ask Brightwell, as sondagens de Jonas em produção usam contas de teste e pedidos de teste que os clientes reais não veem. Os documentos-canário ficam em fontes que nenhuma consulta de cliente alcança, e cada janela de testes é combinada antecipadamente com as operações, para que um alerta durante a janela seja reconhecido como parte do teste.
27.3 Modo sombra
Para classificadores como o ReturnGuard, um novo modelo pode rodar em modo sombra (shadow): ele pontua requisições reais, mas sua saída é apenas registrada, não usada. Compare as decisões com as do modelo atual, sobretudo nas fraudes conhecidas e nos grupos que poderiam ser tratados de forma injusta, antes de fazer a troca. A execução em sombra do ReturnGuard v2 mostrou por que a verificação por grupos importa: ele sinalizava as devoluções de uma região rural muito mais vezes do que o v1, por causa de atrasos da transportadora. A comparação usou os casos de fraude conhecidos e a região como grupo de interesse, ambos escolhidos antes do início do modo sombra.
27.4 Seguir ou não seguir
Decida com critérios definidos antes da implantação: resultados do critério de liberação aprovados; comparação em sombra aceitável; monitoramento ativo; runbooks ensaiados; aprovação do dono. A falta de qualquer critério significa não seguir ou fazer uma liberação menor, e não uma exceção silenciosa. O ReturnGuard v2 recebeu "não seguir" depois do modo sombra porque um critério, uma comparação aceitável entre grupos, não foi cumprido. A equipe segurou a liberação e acrescentou um atributo de atraso na entrega, em vez de lançar com uma exceção silenciosa. A decisão e sua justificativa foram registradas para a próxima execução em sombra. Dispensar o critério não foi considerado, porque ele havia sido definido antes do modo sombra.
27.5 Exemplo resolvido (caso sintético da Brightwell)
O ReturnGuard v2 roda em sombra por duas semanas. Ele detecta 18% mais fraudes conhecidas, mas sinaliza as devoluções de uma região rural três vezes mais do que o v1 — os atrasos da transportadora ali produzem padrões de devolução tardia. A equipe segura a liberação, acrescenta um atributo de atraso na entrega e executa de novo o modo sombra. O novo prompt do Ask Brightwell vai para 5% do tráfego, com sondagens de injeção a partir de contas de teste a cada hora; depois de três dias sem negações de política acima da linha de base, ele chega a 100%. As duas decisões seguiram critérios definidos de antemão: o ReturnGuard v2 falhou na comparação de equidade e foi segurado; o prompt cumpriu os critérios das sondagens e seguiu adiante.
27.6 Erros e limites
Três erros são comuns: lançamentos de uma só vez (big bang); testes de ataque contra clientes reais; e decisões de seguir sem critérios definidos de antemão. Os lançamentos da Brightwell evitam esses erros. O prompt do Ask Brightwell foi primeiro para 5%, todas as sondagens de ataque usaram contas de teste, e o "não seguir" do ReturnGuard v2 seguiu critérios definidos antes do modo sombra. Um lançamento de uma só vez teria exposto todos os clientes de uma vez a um prompt não testado. A suspensão do ReturnGuard v2 mostra que critérios definidos de antemão funcionam como pretendido: um modelo que detectava mais fraudes foi barrado mesmo assim, porque tratava uma região de forma injusta, e ninguém pôde argumentar contra o limiar depois de ver o resultado.
27.7 Registrando a decisão de seguir ou não seguir
A reunião de go/no-go de uma nova versão do Ask Brightwell termina com uma decisão escrita: quem decidiu, quais critérios foram cumpridos, quais foram dispensados e por quê, e o gatilho de reversão. Esse registro é o que um auditor ou a próxima equipe de lançamento lê primeiro. O registro de "não seguir" do ReturnGuard v2 nomeia o critério de comparação entre grupos não cumprido e o que precisa mudar antes da próxima execução em sombra. O registro também nomeia quem decidiu e o gatilho de reversão da próxima tentativa, de modo que a próxima equipe de lançamento pode ver o que mudou entre as duas execuções em sombra e por que a segunda pode ser aprovada.
Exercícios
- EX079 — Plano de liberação. Escreva um plano de liberação em etapas para uma nova versão do modelo do fornecedor. Rubrica: 3 = etapas, métricas, flags, reversão, critérios; 2 = quatro; 1 = dois; 0 = nenhum.
- EX080 — Achado em sombra. O que deve acontecer depois do achado da região rural, e por quê? Rubrica: 3 = segurar, investigar a causa, corrigir, repetir a sombra, raciocínio de equidade; 2 = parcial; 1 = lançar mesmo assim, com uma nota; 0 = nenhum.
- EX081 — Segurança dos testes em produção. Liste quatro regras para testes de segurança em produção. Rubrica: 3 = contas de teste, autorização, canários inofensivos, coordenação; 2 = três; 1 = uma ou duas; 0 = nenhuma.
Síntese
Implante as mudanças de IA gradualmente, por trás de flags, valide os controles com segurança em produção, use modos sombra para os modelos e decida com critérios definidos de antemão.
Continue estudando — capítulo 27 de 30
← Capítulo 26 (rascunho) · Índice de capítulos do curso · Capítulo 28 (rascunho) →