Capítulo 1 — Tomada de decisão avançada em segurança | Pós-graduação Segurança de IA e aprendizado de máquina

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Por que as decisões de segurança de IA são difer"]
  N1["1.2 Um registro de decisão"]
  N2["1.3 Estruturando com o AI RMF"]
  N3["1.4 Decidindo sob incerteza"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Por que as decisões de segurança de IA são difer"]
  N1["1.2 Um registro de decisão"]
  N2["1.3 Estruturando com o AI RMF"]
  N3["1.4 Decidindo sob incerteza"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX001"]

[1.1 Por que as decisões de segurança de IA são difer]
    |
    v
[1.2 Um registro de decisão]
    |
    v
[1.3 Estruturando com o AI RMF]
    |
    v
[1.4 Decidindo sob incerteza]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem

Você vai (1) formular uma decisão de segurança de IA como opções, consequências e incerteza; (2) separar fatos, estimativas e valores num registro de decisão; (3) usar as funções do NIST AI RMF para estruturar escolhas na escala da organização; (4) decidir com evidências incompletas, com gatilhos explícitos de revisão; e (5) comunicar uma decisão de modo que outros possam contestá-la.

1.1 Por que as decisões de segurança de IA são diferentes

A maioria das decisões de segurança diz respeito a sistemas cujo comportamento é especificado por código. Sistemas de IA acrescentam comportamento aprendido a partir de dados e, no caso dos modelos de linguagem, comportamento conduzido por texto que atacantes podem fornecer. Daí decorrem três consequências. Primeiro, as taxas de falha são estatísticas: um controle que bloqueia 97% das injeções testadas não bloqueia "a injeção". Segundo, as evidências envelhecem depressa, porque modelos, prompts e técnicas de ataque mudam. Terceiro, o mesmo modelo pode ser seguro numa implantação e perigoso em outra, conforme as ferramentas e os dados que consegue alcançar. Por isso, o trabalho de um especialista sênior é menos encontrar um controle perfeito do que escolher, com a incerteza declarada, entre opções imperfeitas, e providenciar que a escolha seja revista.

1.2 Um registro de decisão

Um registro útil tem sete partes: a pergunta; as opções (sempre incluindo "não fazer nada" e "não implantar"); as consequências de cada uma para as partes afetadas; as evidências, rotuladas como fato, estimativa ou suposição; os valores e o apetite a risco aplicados; a decisão com seu responsável; e os gatilhos de revisão (uma data, um limiar de métrica, uma mudança de modelo, um incidente). Escrever os valores separadamente importa: duas pessoas podem concordar com todos os fatos e ainda discordar sobre se um reembolso indevido em cada 1.000 é aceitável. Esconder essa discordância dentro de uma "pontuação de risco" impede um debate honesto.

1.3 Estruturando com o AI RMF

O NIST AI 100-1 organiza o trabalho de risco de IA em Govern (governar), Map (mapear), Measure (medir) e Manage (gerenciar). Use-o como lista de verificação para a decisão: há um responsável e uma política (Govern)? O contexto — usuários, dados, ferramentas, pessoas afetadas — está mapeado (Map)? Há evidências sobre os riscos relevantes, com limites conhecidos (Measure)? Os tratamentos estão escolhidos, priorizados e monitorados (Manage)? Lacunas em qualquer função sinalizam onde a decisão é mais fraca. O Perfil de IA Generativa (NIST AI 600-1) acrescenta riscos próprios de sistemas generativos, como integridade da informação e segurança da informação, que devem aparecer na etapa Map das implantações de modelos de linguagem.

1.4 Decidindo sob incerteza

Raramente você tem as evidências que gostaria. Três ferramentas ajudam. Limitação: se nenhuma falha foi vista em n tentativas independentes, o limite superior de 95% da taxa de falha é de aproximadamente 3/n, de modo que 0 em 300 ainda permite cerca de 1%. Reversibilidade: prefira opções que possam ser desfeitas a baixo custo — uma feature flag, um limite de reembolso, uma implantação escalonada. Valor da informação: pergunte se mais testes poderiam mudar a decisão; se não, decida agora. A decisão de Amira sobre reembolsos usa as três: o limite de 0 em 400, um teto baixo que pode ser elevado depois e um gatilho em vez de mais testes.

1.5 Exemplo resolvido (caso sintético da Corvane)

O conselho pergunta a Amira se o Dispatch Copilot pode emitir reembolsos automaticamente. Opções: (a) nenhum reembolso pelo agente; (b) reembolsos de até €50, com verificações de política fora do modelo; (c) reembolsos de até €500. Evidências: num teste isolado, 0 de 400 conversas adversariais produziram um reembolso fora da política na opção (b) (limite superior ≈ 0,75%), enquanto dados do atendimento ao cliente estimam €180.000 por ano em economia de atendimento. Valores: o diretor financeiro aceita até €10.000 por ano em reembolsos indevidos. Amira calcula a pior exposição plausível em 0,75% de 60.000 reembolsos × €50 ≈ €22.500, acima do apetite; com limite de €20, o mesmo limite superior dá €9.000, dentro dele, por isso ela recomenda (b) com limite de €20 por três meses, com um gatilho para revisão após 10.000 reembolsos reais ou qualquer abuso confirmado.

1.6 Erros e limites

Quatro erros são comuns: apresentar uma pontuação única em vez de opções e consequências; tratar "nenhuma falha vista" como "nenhuma falha possível"; omitir "não implantar" das opções; e decisões sem responsável ou gatilho de revisão. Cada erro enfraquece uma decisão. Uma pontuação única esconde as opções e os valores por trás delas, como o apetite do diretor financeiro por reembolsos indevidos. Zero falhas em 400 testes ainda permite uma taxa perto de 0,75%. Sem "não implantar", o conselho nunca vê a opção segura mais barata. Uma decisão sem responsável ou gatilho nunca é revista, nem mesmo depois de 10.000 reembolsos reais. Verifique os quatro pontos em cada registro.

Exercícios

EX001 — Registro de decisão. Escreva um registro em sete partes sobre permitir ou não que um assistente baseado em LLM resuma reclamações de RH. Rubrica: 3 = as sete partes, com evidências rotuladas e gatilhos; 2 = cinco ou seis; 1 = três ou quatro; 0 = menos.
EX002 — Fatos e valores. Classifique cinco afirmações do §1.5 como fato, estimativa, suposição ou valor. Rubrica: 3 = todas corretas, com justificativas; 2 = quatro; 1 = duas ou três; 0 = menos.
EX003 — Limitação. Nenhum reembolso fora da política foi visto em 1.000 tentativas. Qual é o limite superior aproximado de 95%, e o que ele significa para 60.000 reembolsos por ano? Rubrica: 3 = ≈0,3%, ≈180 reembolsos como pior caso plausível, ressalvas sobre independência/representatividade; 2 = números sem ressalvas; 1 = um número; 0 = errado.
EX004 — Lacunas do RMF. Indique uma pergunta de Govern, uma de Map, uma de Measure e uma de Manage que o registro de Amira precisa responder. Rubrica: 3 = quatro perguntas pertinentes; 2 = três; 1 = uma ou duas; 0 = nenhuma.
EX005 — Reversibilidade. Proponha duas escolhas de projeto reversíveis para um agente que pode alterar endereços de entrega. Rubrica: 3 = dois controles concretos, baratos de desfazer, com gatilhos; 2 = dois sem gatilhos; 1 = um; 0 = nenhum.

Síntese

Decisões seniores de segurança de IA são escolhas entre opções imperfeitas sob incerteza. Registre opções, evidências e valores separadamente, limite o que os testes podem mostrar, prefira passos reversíveis e defina gatilhos de revisão.

Continue estudando — capítulo 01 de 12

← Página do curso · Índice de capítulos do curso · Capítulo 02 (rascunho) →