◇ OpenCyber Academy
Profissionalizante · Capítulo 5 · Português

Capítulo 5 — Segurança de IA e aprendizado de máquina: ferramentas e interpretação

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 5 — Segurança de IA e aprendizado de máquina: ferramentas e interpretação

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX021.

flowchart TD
  N0["5.1 Harness e registros"]
  N1["5.2 Taxas e intervalos"]
  N2["5.3 Taxas de base"]
  N3["5.4 Ferramentas de fornecedores"]
  N4["5.5 Leituras equivocadas comuns"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX021"]

Desenho lógico

flowchart LR
  N0["5.1 Harness e registros"]
  N1["5.2 Taxas e intervalos"]
  N2["5.3 Taxas de base"]
  N3["5.4 Ferramentas de fornecedores"]
  N4["5.5 Leituras equivocadas comuns"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX021"]

[5.1 Harness e registros]
    |
    v
[5.2 Taxas e intervalos]
    |
    v
[5.3 Taxas de base]
    |
    v
[5.4 Ferramentas de fornecedores]
    |
    v
[5.5 Leituras equivocadas comuns]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX021]

Objetivos de aprendizagem

Você vai (1) usar um harness de teste simples e registros; (2) interpretar resultados com taxas e intervalos; (3) levar em conta as taxas de base na detecção; (4) avaliar ferramentas de segurança de fornecedores; e (5) evitar leituras equivocadas comuns.

5.1 Harness e registros

Um harness executa casos de teste contra um serviço em homologação, coleta respostas e registros das ferramentas, classifica os resultados com regras e escreve um relatório. Registros com identificadores de requisição permitem ver o que o modelo leu, o que propôs e o que foi executado. Na Meridian, o harness de Sofia executa suas baterias do ClaimChat contra a homologação e classifica cada caso pelo que o registro da ferramenta mostra. Mantenha o harness sob controle de versão junto com as baterias, para que os resultados possam ser repetidos depois de mudanças. Registre cada entrada, saída e chamada de ferramenta com o identificador do caso.

5.2 Taxas e intervalos

Relate os sucessos sobre as tentativas, com um intervalo. 0 em 100 ainda admite cerca de 3%. Uma queda de 28% para 10% com 40 casos cada pode ser real, mas os intervalos se sobrepõem; mais casos ajudam. Os 11 de 40 agendamentos urgentes de Sofia tinham um intervalo de cerca de 16–43%. Depois dos controles, seus 0 de 90 deixaram um limite superior de cerca de 3%. Ambas são declarações honestas do que foi testado. Escolha o número de casos a partir da decisão. Para mostrar que uma taxa está abaixo de alguns por cento, você precisa de cerca de cem tentativas sem falhas; para mostrar uma mudança grande, algumas dezenas por braço podem bastar. O laboratório S permite conferir os intervalos das suas próprias contagens, e o resultado deve ser escrito como contagens, não apenas como porcentagens.

5.3 Taxas de base

Um modelo de fraude com 95% de detecção e 5% de falsos positivos parece forte. Se 1 em cada 100 sinistros for fraudulento, apenas cerca de 16% dos sinistros sinalizados serão fraude. Os segurados honestos arcam com o custo do restante.

"""Lab B: base rates and alarm precision (Bayes' rule).
A detector for malicious prompts with given true- and false-positive rates
is applied to traffic with different shares of malicious prompts."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
    for prev in (0.10, 0.01, 0.001):
        tp = tpr * prev; fp = fpr * (1 - prev)
        prec = tp / (tp + fp)
        per_10k = round(10000 * (tp + fp))
        print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")

Saída esperada:

tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18

O laboratório B deste capítulo mostra como a precisão cai à medida que a fraude fica mais rara. No FraudFlag, Sofia usou isso para defender uma revisão humana rápida dos sinistros sinalizados, já que a maioria dos segurados sinalizados é honesta e arca com o atraso. Quando o evento é raro, mesmo um modelo preciso produz muitos alarmes falsos, por isso pergunte sempre com que frequência o evento ocorre antes de julgar um detector.

5.4 Ferramentas de fornecedores

Pergunte que ameaça a ferramenta trata; como foi avaliada (de forma adaptativa? pelos efeitos?); qual é sua taxa de falsos positivos no seu tráfego; que dados ela envia para fora; e se ela bloqueia ou apenas monitora. Teste-a com a sua própria bateria antes de confiar nela. Sofia testou o filtro de injeção de um fornecedor com seus 60 casos indiretos e 100 envios normais. Ele bloqueou 38 ataques, mas também 9 envios normais. Faça um teste assim antes de comprar e registre os dois números. Peça ao fornecedor resultados com os seus casos, não com os dele, e repita o teste depois de cada atualização.

5.5 Leituras equivocadas comuns

"Nenhum ataque teve sucesso" a partir de uma bateria pequena; "a acurácia é alta" ignorando as taxas de base; "o filtro bloqueia a injeção" com base em exemplos do fornecedor; "o modelo recusou" enquanto a ferramenta foi executada mesmo assim. Cada leitura equivocada superestima a proteção. O harness de Sofia evita a última ao verificar os registros das ferramentas, de modo que uma recusa acompanhada de um agendamento ainda conta como falha. Leia cada resultado à procura dessas quatro antes de relatá-lo. Peça também a um colega que confira sua leitura e mantenha as contagens brutas ao lado de cada resumo, para que ele possa fazê-lo.

5.6 Exemplo resolvido (caso sintético da Meridian)

O FraudFlag sinaliza 6% dos sinistros; a prevalência de fraude é de cerca de 1%. Sofia calcula que a maioria dos segurados sinalizados é honesta e que cada um espera cinco dias a mais. Ela recomenda revisar os sinistros sinalizados em até 48 horas e dizer aos segurados apenas que o sinistro está "em análise padrão". Um fornecedor oferece um filtro de injeção; com os 60 casos indiretos dela, o filtro bloqueia 38, mas também bloqueia 9 de 100 envios normais (orçamentos manuscritos com redação incomum). O resultado do filtro do fornecedor mostra os dois lados: 38 de 60 ataques bloqueados e 9 de 100 envios normais bloqueados também.

5.7 Erros e limites

Três erros são comuns: baterias pequenas relatadas como prova; ignorar o custo dos falsos positivos; e confiar em demonstrações de fornecedores. Cada erro leva a uma decisão errada. Uma bateria pequena sem falhas ainda admite uma taxa de falha relevante. Ignorar os falsos positivos esconde o custo para os segurados honestos que esperam revisões do FraudFlag, ou para os clientes cujos envios normais um filtro bloqueia. As demonstrações de fornecedores usam exemplos favoráveis; a bateria da própria Sofia deu um quadro diferente. Verifique os três em cada resultado antes que ele chegue a uma decisão. Corrija o que encontrar antes de relatar.

Exercícios

Síntese

As ferramentas produzem números; os profissionais os interpretam com intervalos, taxas de base e ceticismo diante das alegações dos fornecedores.

Continue estudando — capítulo 05 de 12

← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →