Capítulo 15 — Evidências e medição | Graduação Segurança de IA e aprendizado de máquina

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX043.

flowchart TD
  N0["15.1 Métricas que correspondem às perguntas"]
  N1["15.2 Conjuntos de teste e vazamento"]
  N2["15.3 Tratamento de evidências"]
  N3["15.4 Relato"]
  N4["15.4b Linhas de base e comparações"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX043"]

Desenho lógico

flowchart LR
  N0["15.1 Métricas que correspondem às perguntas"]
  N1["15.2 Conjuntos de teste e vazamento"]
  N2["15.3 Tratamento de evidências"]
  N3["15.4 Relato"]
  N4["15.4b Linhas de base e comparações"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX043"]

[15.1 Métricas que correspondem às perguntas]
    |
    v
[15.2 Conjuntos de teste e vazamento]
    |
    v
[15.3 Tratamento de evidências]
    |
    v
[15.4 Relato]
    |
    v
[15.4b Linhas de base e comparações]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX043]

Objetivos de aprendizagem

Você vai (1) escolher métricas que correspondam às perguntas de segurança; (2) projetar conjuntos de teste que evitem vazamento; (3) coletar e preservar evidências corretamente; e (4) redigir resultados de medição com condições e incerteza.

15.1 Métricas que correspondem às perguntas

"O chatbot vaza dados de outros pacientes?" exige uma taxa de vazamento numa suíte de testes de tentativas. "O filtro pega injeções?" exige a TPR com uma FPR fixa. "A defesa prejudica a utilidade?" exige o sucesso das tarefas em pedidos normais. Use várias métricas; um único número raramente responde a uma pergunta de segurança. Fixar a taxa de falsos positivos antes de comparar filtros garante que um filtro não pareça melhor simplesmente por sinalizar mais conversas. O tempo dos funcionários gasto revisando alarmes falsos é um custo real para as clínicas.

15.2 Conjuntos de teste e vazamento

Mantenha os dados de teste separados de tudo o que foi usado para construir ou ajustar o sistema. Quase-duplicatas entre conjuntos inflam os resultados (Kapoor e Narayanan, arXiv:2207.07048). Para ataques por prompt, construa os casos de teste a partir de modelos que você não usou ao desenvolver as defesas. Se Rina ajustasse uma defesa com os mesmos modelos de injeção com que depois a testasse, sua taxa de sucesso mediria a memorização desses modelos, e não a força geral da defesa. Ela mantém um conjunto separado de modelos de ataque escritos por um colega e só o abre na avaliação final. Procurar quase-duplicatas entre os conjuntos, como o mesmo ataque com um nome trocado, faz parte de construí-los.

15.3 Tratamento de evidências

Registre entradas, saídas, versões (modelo, prompt, código) e carimbos de tempo. Armazene as evidências com hashes de integridade e controle de acesso. No trabalho com incidentes, preserve os logs originais antes da análise. As versões importam porque o mesmo prompt pode dar resultados diferentes depois de uma atualização do modelo pelo provedor. Rina registra o identificador de modelo devolvido pela API, o hash do prompt de sistema e o commit do código de cada execução de teste. Calcular o hash das transcrições permite que ela mostre depois que elas não foram editadas. Os logs originais são copiados e têm seu hash calculado antes de qualquer análise, e a análise é feita na cópia.

15.4 Relato

Declare a pergunta, o método, a amostra, os resultados com intervalos, as condições e as limitações. Arp et al. (arXiv:2010.09470) listam armadilhas como viés de amostragem e linhas de base inadequadas; confira as suas contra essa lista. O relatório de vazamento de Rina segue esta ordem: pergunta, 400 tentativas sintéticas, resultados de duas versões com intervalos de Wilson, condições como prompts apenas em inglês, e limitações. Ao conferir com a lista de Arp et al., ela encontrou uma armadilha no rascunho: havia comparado a versão 2 com a versão 1 testada meses antes, com outra versão do modelo, e por isso repetiu o teste na mesma versão.

15.4b Linhas de base e comparações

Um número significa pouco sem uma linha de base. Relate o resultado do sistema sem defesa ao lado do sistema defendido, e uma alternativa simples e forte (por exemplo, uma lista de ferramentas permitidas) ao lado da sua defesa elaborada. Se a alternativa simples obtiver a maior parte do benefício, diga isso: é um conhecimento útil para os profissionais e protege você contra afirmar demais. No Ask Lumen, uma linha de base simples e forte é remover por completo a ferramenta de cancelamento, que então nenhuma injeção consegue usar indevidamente. Qualquer defesa proposta deve ser comparada com essa opção.

15.5 Exemplo resolvido (caso sintético da LCH)

Rina mediu o vazamento do Ask Lumen com 400 tentativas sintéticas de obter a consulta de outro paciente. A versão 1 vazou em 14 casos (3.5%, intervalo de Wilson de 95% de 2.1–5.8%). Depois da correção com token delegado, a versão 2 vazou em 0 de 400 (limite superior de cerca de 0.95%). Ela armazenou as transcrições com hashes e anotou que as tentativas foram apenas em inglês. O intervalo importa: 14 de 400 é compatível com uma taxa real entre cerca de 2.1% e 5.8%, então o efeito da correção é claro mesmo levando o acaso em conta. Zero vazamentos em 400 não significa risco zero; o limite superior de cerca de 0.95% é o que o teste consegue sustentar. Anotar a limitação ao inglês diz aos leitores que outros idiomas continuam sem teste.

15.6 Erros e limites

Três erros são comuns: ajustar no conjunto de teste; relatar sem versões; e ignorar os limites de idioma ou formato de uma suíte de testes. Ajustar no conjunto de teste infla os resultados sem melhorar o sistema. Relatar sem versões torna os resultados impossíveis de reproduzir depois que o modelo ou o prompt mudam. Ignorar limites de idioma ou de formato leva os leitores a supor uma cobertura que nunca foi testada, por exemplo ataques escritos em outro idioma ou escondidos num formato de documento que a suíte de testes não incluía, como um PDF digitalizado.

Exercícios

EX043 — Escolha de métricas. Escolha métricas para avaliar o DocSort contra ataques de encaminhamento errado. Rubrica: 3 = taxa de sucesso de ataques com cartas elaboradas, acurácia do encaminhamento normal, intervalos; 2 = duas; 1 = uma; 0 = nenhuma.
EX044 — Zero falhas. Que limite superior se aplica a 0/400, e por que não afirmar 0%? Rubrica: 3 = ≈ 3/400 ≈ 0.75% (regra de três; Wilson ≈ 0.95%); amostra finita; 2 = parcial; 1 = afirma 0%; 0 = nenhum.
EX045 — Registro de evidências. Liste cinco itens a registrar por caso de teste. Rubrica: 3 = entrada, saída, versões de modelo/prompt/código, carimbo de tempo, hash; 2 = quatro; 1 = dois; 0 = nenhum.

Síntese

Uma boa medição faz a pergunta certa, usa dados de teste limpos, preserva as evidências e relata os resultados com condições e incerteza.

Continue estudando — capítulo 15 de 40

← Capítulo 14 (rascunho) · Índice de capítulos do curso · Capítulo 16 (rascunho) →