Capítulo 17 — Fundamentos de controle e realimentação

Mapa da aula

Aula 17 publicada. Mapa, exemplo, EX049.

flowchart TD
  N0["17.1 Realimentação e estabilidade"]
  N1["17.2 Laços de realimentação em sistemas de IA"]
  N2["17.3 Envelopes de operação segura"]
  N3["17.4 Laços de monitoramento"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX049"]

Desenho lógico

flowchart LR
  N0["17.1 Realimentação e estabilidade"]
  N1["17.2 Laços de realimentação em sistemas de IA"]
  N2["17.3 Envelopes de operação segura"]
  N3["17.4 Laços de monitoramento"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX049"]

[17.1 Realimentação e estabilidade]
    |
    v
[17.2 Laços de realimentação em sistemas de IA]
    |
    v
[17.3 Envelopes de operação segura]
    |
    v
[17.4 Laços de monitoramento]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX049]

Objetivos de aprendizagem

Você vai (1) descrever controle em malha aberta e fechada, realimentação, ganho e estabilidade; (2) reconhecer laços de realimentação em sistemas de IA (retreino sobre as próprias saídas, laços de recomendação, agentes agindo sobre os próprios resultados); (3) explicar como adversários exploram a realimentação; e (4) projetar envelopes de operação segura e intertravamentos para controle conduzido por IA.

17.1 Realimentação e estabilidade

Um controlador em malha fechada mede a saída, compara-a com um alvo e ajusta a entrada. O ganho determina a intensidade da reação; ganho demais causa oscilação ou instabilidade, ganho de menos causa resposta lenta. Atrasos na malha tornam a instabilidade mais provável. Um termostato é uma malha conhecida: ele mede a temperatura do ambiente e liga ou desliga o aquecimento. Se reage a cada pequena flutuação, o aquecimento alterna rapidamente; se reage devagar demais, o ambiente oscila entre quente e frio. O atraso piora os dois casos, porque o controlador age sobre informações que já estão desatualizadas. Os mesmos compromissos aparecem onde quer que um sistema se ajuste a partir dos próprios resultados, inclusive no ajuste automático de limiares.

17.2 Laços de realimentação em sistemas de IA

Sistemas de IA frequentemente formam laços: as decisões de um modelo mudam os dados sobre os quais ele será retreinado depois; um modelo de anomalias cujos alertas disparam manutenção nunca vê o que teria acontecido sem a manutenção; um agente observa os resultados das próprias chamadas de ferramentas e planeja novas ações. Laços podem amplificar pequenos erros — e amplificar a influência de um atacante. Se atacantes conseguem injetar dados que são realimentados no treinamento (por exemplo, um "joinha" de usuário em respostas manipuladas), podem conduzir o modelo ao longo do tempo; esse é um caminho de envenenamento (OWASP LLM04).

17.3 Envelopes de operação segura

Engenheiros de controle limitam os comandos dos atuadores, limitam a taxa das mudanças e acrescentam intertravamentos que se sobrepõem ao controlador quando as medições saem de uma região segura. Aplique o mesmo à IA: limite as ações que um agente pode executar por hora, exija aprovação humana fora de um envelope e acrescente verificações independentes (um monitor simples baseado em regras) que possam vetar o modelo. O monitor baseado em regras é deliberadamente simples, para que falhe de maneiras diferentes das do modelo. Uma regra como "no máximo cinco ordens de serviço por hora a partir de uma sessão" pega o comportamento descontrolado independentemente do motivo pelo qual o modelo o produziu. Os envelopes são escritos a partir de dados de operação: a faixa normal de ações observadas, com uma margem, e um responsável explícito que aprova as mudanças.

17.4 Laços de monitoramento

Monitore a distribuição das entradas, a distribuição das saídas e as taxas de resultado. Mudanças súbitas podem indicar deriva ou ataque; deriva lenta pode indicar um laço de realimentação. Mantenha um conjunto de dados de referência que não seja influenciado pelo modelo para medir o desempenho real. Um conjunto de referência é rotulado de forma independente e mantido longe do treinamento e do ajuste. Medir o modelo nele em intervalos mostra o desempenho real, mesmo quando a realimentação de produção está enviesada pelas próprias decisões do modelo. Monitorar as taxas de resultado também exige cuidado: se a manutenção segue todo alerta, o sistema nunca vê diretamente as falhas perdidas, então os engenheiros amostram casos sem alerta para inspeção, a fim de estimá-las.

17.5 Exemplo resolvido (caso sintético da NRS)

Os limiares do Pulse eram reajustados automaticamente toda semana a partir da avaliação dos técnicos sobre os alertas. Uma equipe terceirizada, sob pressão de prazo, marcou muitos alertas verdadeiros como "alarme falso"; ao longo de seis semanas, o limiar subiu e a taxa de verdadeiros positivos caiu de 92% para 78% no conjunto de referência. Sam substituiu o reajuste automático por uma atualização limitada (no máximo 2% de mudança no limiar por semana), uma verificação no conjunto de referência antes de cada mudança e a revisão da avaliação de qualquer equipe cuja avaliação divergisse fortemente das demais. Sem o conjunto de referência, o declínio teria parecido uma melhora, já que menos alertas estavam sendo gerados.

17.6 Erros e limites

Três erros são comuns: retreinar sobre dados influenciados pelo modelo sem uma referência limpa; atualizações automáticas sem limite; e agentes sem orçamento de ações. Retreinar sobre dados moldados pelas próprias decisões do modelo pode cristalizar seus erros, porque os casos que ele deixou passar nunca voltam como exemplos. Atualizações sem limite deixam que algumas entradas enviesadas desloquem o sistema para longe antes que alguém perceba. Agentes sem orçamento de ações podem repetir uma ação danosa muitas vezes nos minutos que antecedem a revisão do log por um humano. Cada erro é um limite ausente em um laço de realimentação, e cada correção é um limite que não depende de o modelo estar certo.

Exercícios

• EX049 — Laços. Identifique dois laços de realimentação no Wrench. Rubrica: 3 = dois laços plausíveis (avaliações → ajuste fino; agente observando resultados de ferramentas) com riscos; 2 = um; 1 = vago; 0 = nenhum.
• EX050 — Envelope. Proponha três limites de envelope para um agente que cria ordens de serviço. Rubrica: 3 = teto por período, aprovação fora do escopo, veto/monitor independente; 2 = dois; 1 = um; 0 = nenhum.
• EX051 — Correção do Pulse. Explique por que o conjunto de referência é essencial na correção de Sam. Rubrica: 3 = ele não é influenciado pela avaliação e revela o declínio real do desempenho; 2 = parcial; 1 = vago; 0 = errado.

Síntese

A realimentação torna os sistemas adaptativos e também exploráveis. Atualizações limitadas, referências limpas, envelopes de ação e intertravamentos independentes mantêm os laços de IA estáveis sob ataque.

Continue estudando — capítulo 17 de 50

← Capítulo 16 (rascunho) · Índice de capítulos do curso · Capítulo 18 (rascunho) →