Capítulo 17 — Segurança de IA e aprendizado de máquina: ferramentas
Mapa da aula
Aula 17 publicada. Mapa, exemplo, EX049.
flowchart TD
N0["17.1 Harness de avaliação"]
N1["17.2 Rastreamento"]
N2["17.3 Varredores"]
N3["17.4 Escolhendo ferramentas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX049"]
Desenho lógico
flowchart LR
N0["17.1 Harness de avaliação"]
N1["17.2 Rastreamento"]
N2["17.3 Varredores"]
N3["17.4 Escolhendo ferramentas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX049"]
[17.1 Harness de avaliação]
|
v
[17.2 Rastreamento]
|
v
[17.3 Varredores]
|
v
[17.4 Escolhendo ferramentas]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX049]
Objetivos de aprendizagem
Você vai (1) construir um pequeno harness de avaliação; (2) usar ferramentas de registro e de rastreamento para requisições de IA; (3) integrar varredores de dependências e de arquivos de modelos; e (4) escolher ferramentas de forma crítica.
17.1 Harness de avaliação
Um harness carrega os casos de teste, prepara o ambiente (planta documentos, cria usuários de teste), executa conversas contra uma implantação de homologação, coleta os registros das ferramentas e as saídas, avalia-os com código e escreve um relatório datado com taxas e intervalos. Ele deve rodar com um único comando e na integração contínua. Mantenha o harness no controle de versão junto com a aplicação, para que uma mudança em qualquer um dos dois possa ser testada em conjunto. O harness de Jonas para o Ask Brightwell é um exemplo em funcionamento: ele planta documentos, executa os 120 casos todas as noites e relata as taxas com intervalos.
17.2 Rastreamento
O rastreamento (tracing) registra cada etapa de uma requisição com um ID compartilhado: mensagem do usuário, trechos recuperados, prompt (ou seu hash e sua versão), resposta do modelo, chamadas de ferramentas, resposta final. Os rastros tornam explicáveis os incidentes e as falhas de teste. Mascare os dados pessoais, guarde os rastros com controle de acesso e defina limites de retenção, para que o depósito de rastros não se torne a maior pilha de dados pessoais da empresa. Os IDs de rastreamento do Ask Brightwell provaram seu valor durante o exercício de mesa de operações, quando o engenheiro de plantão encontrou em minutos, a partir de um rastro, a página de políticas injetada. O antigo repositório de registros compartilhado mostra o risco: prompts com endereços de clientes legíveis por 40 engenheiros. Os rastros agora guardam o hash e a versão do prompt, com os dados pessoais mascarados.
17.3 Varredores
Varredores de dependências verificam se as bibliotecas têm vulnerabilidades conhecidas; para IA, verifique também os arquivos de modelos (fixação de hashes, verificações de formato que rejeitam formatos capazes de executar código) e as fontes dos conjuntos de dados. Assistentes de programação podem sugerir pacotes que não existem — risco de ocupação de nomes —, por isso confira as novas dependências contra uma lista de permitidas. Uma lista de materiais de software (SBOM) que inclua modelos e conjuntos de dados ajuda a responder "somos afetados?" quando surge um alerta de segurança. No CodePilot, que sugere pacotes, a verificação da lista de permitidas importa porque o nome de um pacote sugerido pode ainda não existir e poderia ser registrado por um atacante. O pipeline da Brightwell também verifica os hashes dos arquivos de modelos e rejeita formatos baseados em pickle.
17.4 Escolhendo ferramentas
Muitos produtos afirmam "proteger a IA". Pergunte: que ameaça ele trata? Ele fica no caminho da requisição (acrescenta latência, pode bloquear) ou só monitora? Como foi avaliado — de forma adaptativa? Que dados ele envia ao fornecedor? Você pode testá-lo nos seus próprios conjuntos antes de comprar? Uma ferramenta deve preencher uma lacuna da sua arquitetura, e não substituir uma parte dela. A demonstração do firewall de prompts mostrou por que a última pergunta importa: no conjunto reservado de Jonas, ele bloqueou muitos casos indiretos, mas também barrou por engano algumas perguntas normais, um custo que a demonstração do fornecedor não mostrava. Ele registrou as duas taxas antes de qualquer decisão de compra, e o dono do produto as pesou em relação ao serviço de políticas que já estava em funcionamento.
17.5 Exemplo resolvido (caso sintético da Brightwell)
Jonas escreve um harness de 300 linhas em Python para os 120 casos do Ask Brightwell. Ele roda todas as noites na homologação e publica um relatório: sucesso dos ataques por categoria, com intervalos de Wilson, e conclusão das tarefas normais. Ele acrescenta IDs de rastreamento ao orquestrador e uma verificação na CI que rejeita novas dependências fora da lista de permitidas. Um fornecedor demonstra um "firewall de prompts"; Jonas o roda no seu conjunto reservado antes de qualquer compra: ele bloqueia 60% dos casos indiretos, mas também 7% das perguntas normais. O resultado do firewall é o tipo de evidência de que uma decisão de compra precisa: um ganho contra ataques e um custo medido para os clientes, ambos nos casos da própria Brightwell.
17.6 Erros e limites
Três erros são comuns: testes manuais e não repetíveis; rastros com dados pessoais sem mascaramento; e comprar ferramentas sem testá-las nos seus conjuntos. O trabalho de Jonas na Brightwell evita os três. O harness roda todas as noites com um único comando, os rastros mascaram os dados pessoais e o firewall de prompts foi testado no conjunto reservado antes da compra. Testar à mão teria tornado fácil deixar passar a regressão causada depois por uma mudança no prompt. Uma demonstração do fornecedor com os exemplos do próprio fornecedor não substitui esse teste. Cada hábito alimenta com evidências o critério de liberação.
Exercícios
- EX049 — Etapas do harness. Liste as etapas do harness em ordem. Rubrica: 3 = carregar, preparar, executar, coletar, avaliar, relatar; 2 = quatro ou cinco; 1 = duas ou três; 0 = nenhuma.
- EX050 — Campos do rastro. Especifique os campos do rastro e as regras de mascaramento. Rubrica: 3 = campos mais mascaramento e retenção; 2 = só campos; 1 = poucos; 0 = nenhum.
- EX051 — Ferramenta de fornecedor. Decida sobre o firewall de prompts a partir dos números de Jonas. Rubrica: 3 = pondera 60% contra 7% de bloqueios falsos, posiciona-o como monitor, não como substituto da política; 2 = parcial; 1 = afirmação; 0 = nenhum.
Síntese
As ferramentas tornam repetível o trabalho de segurança de IA: harnesses automatizados, rastros, varredores e ferramentas escolhidas testando-as contra suas próprias ameaças.
Continue estudando — capítulo 17 de 30
← Capítulo 16 (rascunho) · Índice de capítulos do curso · Capítulo 18 (rascunho) →