Capítulo 23 — Segurança de IA e aprendizado de máquina: avaliação

Mapa da aula

Aula 23 publicada. Mapa, exemplo, EX067.

flowchart TD
  N0["23.1 Planejamento"]
  N1["23.2 Testes adaptativos"]
  N2["23.3 Relatório"]
  N3["23.4 Risco residual"]
  N4["23.4b Apresentando aos donos"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX067"]

Desenho lógico

flowchart LR
  N0["23.1 Planejamento"]
  N1["23.2 Testes adaptativos"]
  N2["23.3 Relatório"]
  N3["23.4 Risco residual"]
  N4["23.4b Apresentando aos donos"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX067"]

[23.1 Planejamento]
    |
    v
[23.2 Testes adaptativos]
    |
    v
[23.3 Relatório]
    |
    v
[23.4 Risco residual]
    |
    v
[23.4b Apresentando aos donos]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX067]

Objetivos de aprendizagem

Você vai (1) planejar uma avaliação de segurança completa de um sistema de IA; (2) incluir testes adaptativos; (3) relatar os resultados com intervalos e efeitos colaterais; e (4) declarar o risco residual.

23.1 Planejamento

Comece pelos cenários de risco. Para cada um, defina o objetivo do atacante, a medição (o efeito, não as palavras), os conjuntos (desenvolvimento, reservado, adaptativo), os tamanhos das amostras e os critérios de aprovação. Fixe as versões. Obtenha autorização para o ambiente. Escreva o plano antes de executar qualquer coisa, para que os critérios não possam deslizar até se ajustarem aos resultados. A avaliação trimestral do Ask Brightwell feita por Jonas segue essa ordem: cada cenário recebe uma medida a partir dos registros das ferramentas, um conjunto reservado e um adaptativo, e critérios de aprovação escritos antes da execução. A autorização escrita cobre apenas a homologação, o que o plano declara.

23.2 Testes adaptativos

Conjuntos fixos medem ataques conhecidos. Os testes adaptativos dão aos testadores conhecimento das defesas e tempo para contorná-las. Carlini et al. (arXiv:1902.06705) e Athalye et al. (arXiv:1802.00420) mostraram que defesas que pareciam fortes contra ataques fixos falharam contra ataques adaptados. Peça a colegas que não construíram as defesas que tentem. Na Brightwell, os casos adaptativos vêm de testadores que não construíram o serviço de políticas. O caso adaptativo que iniciou uma devolução no último dia válido com um item diferente encontrou uma lacuna que os conjuntos fixos não tinham encontrado.

23.3 Relatório

Para cada cenário: sucessos/tentativas, taxa, intervalo de 95%, comparação com a versão anterior, efeitos colaterais sobre o uso normal (recusas falsas, conclusão), condições (versões, datas). Inclua os casos com falha num apêndice, para que os desenvolvedores possam reproduzi-los. O relatório trimestral de Jonas sobre o Ask Brightwell dá as devoluções prejudiciais como contagens sobre 80 casos reservados e 60 adaptativos, os vazamentos de canário sobre 50 e a conclusão normal sobre 500, cada um com suas versões. O caso adaptativo com falha está no apêndice, com os passos. Cada caso com falha no apêndice lista as versões contra as quais foi executado. Toda tabela mostra cada contagem com seu intervalo, de modo que o leitor pode ver quão poucos casos adaptativos estão por trás de uma taxa.

23.4 Risco residual

Declare o que resta: cenários não testados, ataques que tiveram sucesso, limites dos conjuntos (idiomas, modalidades) e dependências do comportamento do fornecedor. Recomende donos e próximos passos. No Ask Brightwell, a avaliação trimestral aponta as injeções em outros idiomas além do inglês como não testadas e as atualizações do modelo do fornecedor como uma dependência. Cada item recebe um dono: a equipe de Jonas, para montar casos em outros idiomas, e a equipe de plataforma, para acompanhar os avisos do fornecedor e executar de novo o critério de liberação após qualquer atualização. Um risco residual sem dono é uma lista sobre a qual ninguém age. Os donos decidem se financiam, aceitam ou adiam cada item.

23.4b Apresentando aos donos

Os donos precisam de um resumo de uma página: quais cenários passam, quais falham, o que mudou desde a última avaliação e quais decisões eles precisam tomar. Coloque os detalhes em apêndices. Evite uma "nota" geral única, porque ela esconde quais riscos permanecem. No Ask Brightwell, o resumo de uma página informou ao dono do produto que a fraude de reembolso passou nos testes reservados, que um caso adaptativo tinha sido corrigido e que as injeções em outros idiomas não tinham sido testadas, com uma decisão sobre financiar ou não esses casos. O resumo cabe numa página para que os donos o leiam antes da reunião, e os apêndices continuam disponíveis para quem quiser os detalhes.

23.5 Exemplo resolvido (caso sintético da Brightwell)

A avaliação trimestral do Ask Brightwell feita por Jonas: devoluções prejudiciais 0/80 no conjunto reservado e 1/60 no adaptativo (o caso adaptativo abusou de um limite da política: uma devolução iniciada no último dia válido com um item diferente — corrigida exigindo a correspondência dos IDs dos itens); vazamentos de canário 0/50; inundações de custo contidas dentro dos limites; conclusão normal de 96% em 500. Riscos residuais: injeções em outros idiomas não testadas; atualizações do modelo do fornecedor podem mudar o comportamento. O resultado adaptativo mostra por que os conjuntos fixos não bastam, e a lista de riscos residuais diz aos donos onde a avaliação termina. Cada risco residual tem um dono e um próximo passo.

23.6 Erros e limites

Três erros são comuns: apenas conjuntos fixos; nenhuma medição de efeitos colaterais; e falta da seção de risco residual. A avaliação de Jonas evita esses erros combinando casos reservados e adaptativos, medindo a conclusão normal ao lado das taxas de ataque e listando os riscos residuais numa parte separada do relatório. Um relatório sem efeitos colaterais esconderia uma defesa que recusa demais. Um relatório sem riscos residuais deixa os donos acreditarem que tudo foi testado. O modelo de relatório da Brightwell inclui um título fixo para o risco residual, de modo que o autor precisa escrever algo ali mesmo quando a resposta é que nada ficou sem teste.

Exercícios

• EX067 — Plano. Escreva uma tabela de plano de avaliação para três cenários do Ask Brightwell. Rubrica: 3 = objetivo, medição, conjuntos, tamanho e critérios para cada um; 2 = dois cenários; 1 = um; 0 = nenhum.
• EX068 — Adaptativo. Por que o caso adaptativo encontrou uma falha que o conjunto reservado não encontrou? Rubrica: 3 = o testador conhecia as regras e mirou um limite; 2 = parcial; 1 = vago; 0 = nenhum.
• EX069 — Residual. Escreva duas declarações de risco residual. Rubrica: 3 = duas, com dono e próximo passo; 2 = sem donos; 1 = uma; 0 = nenhuma.

Síntese

Uma avaliação completa é planejada a partir dos cenários, inclui testadores adaptativos, relata os efeitos com intervalos e efeitos colaterais e termina com um risco residual honesto.

Continue estudando — capítulo 23 de 30

← Capítulo 22 (rascunho) · Índice de capítulos do curso · Capítulo 24 (rascunho) →