◇ OpenCyber Academy
Pesquisa doutoral · Capítulo 8 · Português

Capítulo 8 — Defesa e plano de publicação

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 8 — Defesa e plano de publicação

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX046.

flowchart TD
  N0["8.1 A apresentação da defesa"]
  N1["8.2 Antecipar perguntas"]
  N2["8.3 Plano de publicação"]
  N3["8.4 Impacto na governança e na prática"]
  N4["8.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX046"]

Desenho lógico

flowchart LR
  N0["8.1 A apresentação da defesa"]
  N1["8.2 Antecipar perguntas"]
  N2["8.3 Plano de publicação"]
  N3["8.4 Impacto na governança e na prática"]
  N4["8.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX046"]

[8.1 A apresentação da defesa]
    |
    v
[8.2 Antecipar perguntas]
    |
    v
[8.3 Plano de publicação]
    |
    v
[8.4 Impacto na governança e na prática]
    |
    v
[8.6 Atividades práticas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX046]

Objetivos de aprendizagem

Você vai (1) preparar uma defesa que apresente o argumento, as evidências e os limites na devida proporção; (2) antecipar e responder a perguntas hostis e amistosas; (3) planejar publicações, incluindo a escolha do veículo, a avaliação de artefatos e o momento da divulgação; (4) planejar o impacto em normas, governança e prática sem exageros; e (5) definir uma agenda de pesquisa de pós-doutorado.

8.1 A apresentação da defesa

Uma apresentação de defesa tem uma única tarefa: permitir que a banca verifique se as suas alegações decorrem das suas evidências. Estrutura: problema e lacuna (10%), perguntas de pesquisa e modelo de ameaça (10%), método e linhas de base (20%), resultados com intervalos e curvas de orçamento (35%), limitações e validade (15%), contribuições e trabalhos futuros (10%). Coloque o risco residual num slide de resultados, e não num slide final de "limitações" para o qual o tempo acaba. Ensaie com uma banca simulada que inclua alguém de fora da sua subárea. A defesa simulada de Ana, que durou 45 minutos, seguiu essa estrutura. Cronometre cada parte no ensaio.

8.2 Antecipar perguntas

Prepare respostas escritas para perguntas previsíveis: Por que este modelo de ameaça e não um mais forte? Por que estes modelos? E se a lista de permissões bastar? O que tornaria o seu resultado errado? Como isso se sustenta para modelos proprietários que você não pôde testar? O que o red team encontrou? O que você faria de outro modo? Para cada uma, responda em três partes: a resposta direta, a evidência (slide ou tabela) e o limite. "Não sei, e é assim que eu descobriria" é uma resposta forte quando é verdadeira.

8.3 Plano de publicação

Associe capítulos a artigos. Os veículos de segurança (por exemplo, IEEE S&P, USENIX Security, ACM CCS, NDSS) costumam realizar avaliação de artefatos, que recompensa o arquivo do Capítulo 7; os veículos de aprendizado de máquina costumam ter listas de verificação de reprodutibilidade. Escolha pelo público: defesas voltadas para profissionais podem precisar também de um workshop ou de um relatório técnico. Planeje o calendário em torno da divulgação coordenada: se uma constatação afetar um produto implantado, combine uma data de divulgação com o fornecedor antes da submissão. Os preprints aceleram o retorno, mas são públicos — verifique as decisões de uso dual antes de postar. Mantenha uma declaração de autoria e de contribuições (os papéis no estilo CRediT ajudam).

8.4 Impacto na governança e na prática

O trabalho de doutorado em segurança de IA pode alimentar a função Measure do NIST AI RMF, os sistemas de gestão ISO/IEC 42001 das organizações, o trabalho de conformidade sob os requisitos de robustez e cibersegurança do AI Act da UE, os recursos comunitários do OWASP e do MITRE ATLAS e as ferramentas de código aberto. Contribua com evidências, não com slogans: um método de avaliação com limites documentados é mais útil para um organismo de normalização do que a alegação de que um problema está resolvido. Nunca apresente o seu resultado como aconselhamento jurídico ou certificação. O guia para profissionais de Ana é um exemplo: ele apresenta as reduções medidas e os seus limites.

8.5 Exemplo resolvido (caso sintético do MAAL)

A defesa simulada de Ana durou 45 minutos. Um membro da banca perguntou: "O seu resultado mais forte é uma ASR residual de 5,8%. Você implantaria isso num agente de e-mail?" A resposta dela: "Sozinho, não. Combinado com destinatários em lista de permissões e confirmação humana para e-mails de saída, sim, porque esses controles limitam o impacto mesmo quando a injeção tem sucesso; a tese mede a redução adicional que a separação proporciona, não a segurança absoluta." O membro externo perguntou sobre modelos proprietários; ela mostrou que o seu método exige acesso de treinamento e explicou que, para modelos acessíveis apenas por API, o arcabouço ainda mede a ASR, mas a defesa não pode ser aplicada — um limite de escopo que decorre da definição de sistema do Capítulo 1, que nomeia um modelo local de pesos abertos. O plano dela: um artigo sobre o arcabouço e os ataques adaptativos para um veículo de segurança com avaliação de artefatos, um sobre a defesa, um guia curto para profissionais e uma agenda de pós-doutorado sobre ataques por encadeamento de ferramentas e sobre a certificação de limites de impacto, em vez de taxas de injeção.

8.6 Atividades práticas

  1. Redija o roteiro da sua defesa com as proporções de tempo. 2. Escreva respostas às sete perguntas previsíveis. 3. Associe os capítulos da tese a veículos e a um cronograma de divulgação. Para o roteiro, use as proporções acima e coloque o risco residual num slide de resultados. Para as respostas, siga a forma em três partes e use a resposta de Ana sobre o agente de e-mail como modelo de resposta direta com um limite. Para o mapa de publicação, anote quais veículos oferecem avaliação de artefatos e onde a divulgação deve vir antes da submissão, e dê datas.

8.7 Erros e limites

Cada um destes erros enfraquece a defesa ou a publicação:

Exercícios

Síntese

Uma defesa mostra que as alegações decorrem das evidências; um plano de publicação envia essas evidências para onde elas podem ser verificadas, num momento que respeita a divulgação. A próxima agenda de pesquisa nasce dos limites que você declarou com honestidade.

Continue estudando — capítulo 08 de 08

← Capítulo 07 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo; qualquer resposta que atenda à rubrica recebe a mesma pontuação. O Meridian Applied AI Lab e todos os seus números são sintéticos.

EX001. "Contra um adversário que controla os prompts do usuário, conhece o desenho do filtro e pode submeter 500 tentativas por categoria de política, o modelo M v2.1 com o filtro F v1.0 produz saída que viola a política em menos de 3% de 1.000 pedidos danosos reservados (limite superior de 95%), com taxa de recusa indevida abaixo de 5% em 1.000 pedidos benignos."

EX002. Uma defesa que quebra o cálculo do gradiente faz falhar o ataque baseado em gradiente, não torna o modelo correto; as mesmas entradas ainda podem ser mal classificadas. O remédio é um ataque adaptativo — aproximar o componente quebrado (BPDA), usar a expectativa sobre transformações ou passar para uma busca sem gradiente.

EX003. 3/20 = 15%, com um intervalo de Wilson de 95% de cerca de 5,2% a 36,0%. Você pode dizer que a taxa provavelmente não é zero e provavelmente fica abaixo de 40%; não pode ordená-la em relação a outra defesa a poucos pontos de distância. Aumente n (2.000 tentativas dão cerca de 13,5%–16,6%).

EX004. Quaisquer três, por exemplo: bisbilhotagem de dados → lacrar os dados de teste e pré-registrar; falácia da taxa-base → relatar precisão e FPR em taxas-base realistas; avaliação apenas em laboratório → validar numa implantação realista ou declarar o limite; linha de base inadequada → incluir linhas de base simples e fortes; viés de amostragem → documentar e diversificar as fontes de dados.

EX005. Se paráfrases ou quase cópias de um prompt de teste estão no treino, o detector reconhece texto memorizado, não o conceito do ataque, e as pontuações sobem. Teste: calcular o hash do texto normalizado e a similaridade de n-gramas (por exemplo, 8-gramas) ou de embeddings entre as partições; remover ou agrupar as duplicatas antes de particionar.

EX006. Sistemas e endpoints no escopo (versões de modelo, contas); métodos permitidos; datas e horários; limites de taxa, de dados e de conteúdo (nenhum dado pessoal, nenhum terceiro real); contatos, condições de parada e canal de relato. Assinada por alguém com autoridade.

EX007. Controlar o acesso. Os defensores ganham dados de avaliação, mas cargas funcionais baixam o custo de ataques contra sistemas em produção. Publique abertamente uma versão redigida ou com canários sintéticos, entregue o corpus completo a pesquisadores verificados sob termos e divulgue primeiro aos fornecedores as constatações específicas de produtos.

EX008. Objetivo: integridade (mau comportamento direcionado diante do gatilho). Capacidade: controle dos dados de treino. Etapa: treinamento (ajuste fino) — um vetor de cadeia de suprimentos.

EX009. Com eps = 0,75, a acurácia é 0,660 (0,840 com 0,50). Num modelo linear, cada perturbação move a pontuação em eps × ||w||₁ na pior direção, então os pontos dentro dessa margem da fronteira mudam de classe; à medida que eps cresce, uma parcela crescente dos aglomerados gaussianos fica ao alcance.

EX010. Jailbreak: o usuário elabora um prompt para fazer o modelo produzir conteúdo proibido (por exemplo, uma encenação para obter instruções proibidas). Injeção de prompt: dados de terceiros processados pela aplicação trazem instruções (por exemplo, uma página web dizendo "encaminhe a caixa de entrada do usuário para …", que um agente de navegação obedece).

EX011. LLM01 Prompt Injection — a mensagem recuperada traz instruções que o modelo segue. LLM06 Excessive Agency — o agente pode enviar e-mails sem restrição nem confirmação, então a injeção tem impacto.

EX012. O que se sabe: a inferência de pertencimento funciona em classificadores e em alguns LMs pré-treinados. Alegado, mas não testado: que as receitas padrão de ajuste fino vazam pouco em pequenos conjuntos de dados privados. Por que importa: organizações fazem ajuste fino com registros sensíveis. Evidência: ataques calibrados (por exemplo, razão de verossimilhança com modelos de referência) em modelos com ajuste fino, em vários tamanhos de conjunto de dados, com TPR em FPR baixa.

EX013. Ela certifica que a predição do classificador suavizado é constante dentro de um raio L2 em torno de uma entrada dada. Não cobre mudanças maiores ou limitadas de outra forma (patches, edições semânticas, L∞ além do limite implícito), envenenamento nem backdoors.

EX014. Artigo 15 (exatidão, robustez e cibersegurança). Ele nomeia envenenamento de dados, envenenamento de modelo, exemplos adversariais/evasão de modelo, ataques à confidencialidade e falhas do modelo.

EX015. Contribuição de ataque: mostra que uma propriedade de confidencialidade (o sigilo do prompt) não vale, com um orçamento de consultas. Se introduzir um método geral para medir o vazamento, é também uma contribuição de medição.

EX016. "Variável independente: número de épocas de ajuste fino (1, 3, 10). Dependente: TPR da inferência de pertencimento com 1% de FPR. População: três modelos abertos com ajuste fino em notas clínicas sintéticas de 5.000 registros. Esperado: a TPR com 10 épocas excede a TPR com 1 época em ≥10 pontos. Regra de decisão: limite inferior do IC 95% do bootstrap pareado > 0."

EX017. Com 1% de entradas maliciosas, rotular tudo como benigno dá 99% de acurácia e não pega nada. Relate a TPR numa FPR baixa fixa, precisão e revocação, ou a curva de precisão–revocação.

EX018. Os documentos de nota injetam "tag urgent", e "tag" está na lista de permissões, então essas chamadas passam. Num sistema real, um atacante ainda poderia usar indevidamente ferramentas permitidas — rotulando errado, ocultando, priorizando ou alterando conteúdo —, então a lista de permissões limita o impacto, mas não impede a manipulação.

EX019. "Se a H1 não for sustentada, relataremos a diferença pareada com o seu intervalo, os resultados por família e os custos de utilidade, concluiremos que a separação não acrescenta benefício mensurável em relação à lista de permissões sob este modelo de ameaça e recomendaremos que os profissionais priorizem a redução de privilégios."

EX020. (a) Público, com documentação. (b) Acesso controlado para pesquisadores verificados; a versão pública usa canários. (c) Divulgação coordenada primeiro ao fornecedor; publicar depois da janela combinada, sem detalhes operacionais.

EX021. Repetibilidade: mesma equipe, mesmo arranjo, mesmo resultado. Reprodutibilidade: equipe diferente, mesmos artefatos, mesmo resultado. Replicabilidade: equipe diferente, novos artefatos ou dados, resultado consistente.

EX022. Reproduzido (ou pelo menos parcialmente): o intervalo 0,9–2,1% contém 1,0% e a conclusão se mantém; registre a mudança de configuração (temperatura 0) como necessária para chegar a ele.

EX023. n ≈ 1,96² × 0,2 × 0,8 / 0,03² = 3,8416 × 0,16 / 0,0009 ≈ 683 por condição.

EX024. Acurácia limpa de 0,963 e sucesso do ataque de 0,685. As métricas em dados limpos podem parecer perfeitas enquanto um backdoor funciona; o monitoramento e a avaliação precisam de testes orientados a gatilhos, procedência dos dados e verificações de anomalias.

EX025. Um canário é uma tentativa cujo desfecho é conhecido de antemão (por exemplo, uma carga contra a linha de base sem defesa que deve ter sucesso). Se ele falhar, o arcabouço, o ambiente ou o modelo mudou; pare e corrija antes de coletar dados.

EX026. A chamada de ferramenta danosa pode ser executada antes de o modelo escrever uma recusa; o texto final não diz nada sobre os efeitos colaterais. Meça as ações pelos registros de chamadas de ferramenta.

EX027. "2026-03-04: semente 3 reexecutada após correção do driver da GPU; razão: o checkpoint não carregou; efeito esperado: nenhum (decodificação determinística)." "2026-03-09: modelo de tarefa 17 corrigido (descrição de ferramenta ausente) em todas as condições; razão: defeito encontrado nos registros; efeito esperado: pequeno, simétrico entre as condições; as execuções anteriores do modelo 17 foram excluídas e contabilizadas."

EX028. (1) Falsificação de delimitador: o texto recuperado imita o delimitador de fechamento e abre uma falsa seção de instruções. (2) Preparação por eco: o conteúdo pede ao modelo que cite um trecho na sua própria saída (confiável) ou num argumento de ferramenta, que uma etapa posterior trata como instrução. (O encadeamento por ferramentas permitidas é outro.) Descritos apenas no nível de desenho.

EX029. A segurança depende do esforço; uma curva mostra com que rapidez uma defesa se degrada, permite que os leitores escolham o seu nível de ameaça e expõe ataques quebrados (sucesso que cai com mais orçamento, ou que nunca chega a 100% sem limite).

EX030. Ordenados: 0,004 ≤ 0,05/3 = 0,0167 → rejeitar; 0,020 ≤ 0,05/2 = 0,025 → rejeitar; 0,030 ≤ 0,05/1 → rejeitar. Os três sobrevivem.

EX031. k = 1: AUC 0,600, vantagem 0,200; k = 25: AUC 0,520, vantagem 0,060. Com k = 1, o vizinho mais próximo de cada membro é ele mesmo, então os membros recebem confiança 1 para o próprio rótulo; com k maior, a pontuação reflete a população, e membros e não membros ficam parecidos.

EX032. Como resultado principal: relatá-lo ao lado dos números dela e nas limitações do resumo, descrever a família de encadeamento de ferramentas num nível de abstração seguro, estreitar as alegações e acrescentá-lo aos trabalhos futuros.

EX033. As respostas variam; uma resposta completa cita seções para o modelo de ameaça, os ataques adaptativos, as linhas de base, as métricas e os intervalos.

EX034. "O quê: a avaliação usa apenas 120 cargas estáticas. Por quê: a defesa muda os delimitadores, então os atacantes vão mirar neles; cargas estáticas não conseguem medir isso. Evidência: avaliar cargas que falsificam delimitadores e cargas de eco com um orçamento declarado e relatar a ASR em função das tentativas."

EX035. Mal-entendido (ou discordância). Resposta: "A RQ4 compara a separação com e sem lista de permissões; a Tabela 5 mostra uma redução de 5,2 pontos (IC 3,9–6,6) em relação à lista de permissões sozinha. Esclarecemos isso na introdução."

EX036. "Sob o nosso modelo de ameaça, acrescentar a separação entre instruções e dados à lista de permissões de ferramentas reduziu as chamadas de ferramenta não autorizadas em 5,2 pontos em dois modelos (ASR residual de 5,8%, até 8,9% sob red teaming independente); ela não impede a injeção."

EX037. κ = 0,81 significa forte concordância além do acaso entre os dois humanos. Não mostra que os rótulos estão corretos, nem que o juiz LLM é válido, a menos que os rótulos do juiz sejam comparados com os rótulos humanos.

EX038. "Revisor 2: 'O efeito se transfere para além de uma família de modelos?' Acrescentamos o modelo C, de outra família, como execução apenas de validação (Seção 5.4, Tabela 6). A redução se manteve na direção, mas foi menor: 3,1 pontos (IC 95% 1,4–4,9). Agora declaramos isso no resumo."

EX039. Interna: viés do avaliador → rótulos cegos e auditoria humana. De construto: a ASR pode não equivaler ao dano → relatar também desfechos ponderados pelo impacto. Adversarial: ataques adaptativos escritos dentro do próprio laboratório do autor → red team independente com orçamento igual.

EX040. README com comandos; ambiente/arquivos de bloqueio; código com tag; configurações das execuções; identificadores e hashes dos modelos; fichas de dados; fichas de modelo; registros por tentativa; scripts de análise; manifesto de arquivos com hashes; licença; identificador persistente.

EX041. Detalhes do modelo; uso pretendido; fatores; métricas; dados de avaliação; dados de treino; análises quantitativas; considerações éticas; ressalvas e recomendações (quaisquer quatro).

EX042. Um hash permite que outros confirmem que baixaram o artefato idêntico da fonte original e revela atualizações silenciosas ou adulteração — essencial para a reprodutibilidade e para a integridade da cadeia de suprimentos.

EX043. Executar 30 tarefas por condição com sementes fixas em menos de 15 minutos, comparar as saídas com os valores armazenados dentro de tolerâncias declaradas e imprimir um aprovado/reprovado claro que nomeie a célula de tabela divergente.

EX044. Todo gerador é criado com uma semente fixa. Aleatoriedade sem semente, não determinismo de múltiplas threads ou uma mudança no algoritmo de números aleatórios entre versões quebrariam a reprodução exata.

EX045. "O corpus de cargas adaptativas (4.100 itens) foi retido da publicação aberta porque contém cargas funcionais contra modelos atuais. Um subconjunto público usa canários inofensivos. Pesquisadores verificados podem pedir o corpus completo por e-mail, sob termos de uso exclusivo para pesquisa. As Tabelas 4–6 podem ser regeneradas a partir do corpus controlado; o subconjunto de canários reproduz as tendências, mas não os valores exatos."

EX046. Problema e lacuna 4 min; perguntas e modelo de ameaça 4; método e linhas de base 8; resultados com risco residual 14; validade 6; contribuições e trabalhos futuros 4.

EX047. Uma família de ataque adaptativo que eleve a ASR sob separação ao nível da lista de permissões sozinha; a perda do efeito em outras famílias de modelos; ou evidência de que o avaliador classifica mal os desfechos. Testar com um red team independente, mais famílias e uma auditoria humana.

EX048. Um veículo de segurança com avaliação de artefatos (por exemplo, USENIX Security, CCS): o público avalia ataques e arcabouços, e a AE recompensa o arquivo.

EX049. Dia 0: relato privado com evidências; dia ~7: confirmação de recebimento; combinar uma janela de 90 dias (ou negociada); coordenar a validação da correção; publicar depois da correção, com detalhe no nível de desenho e sem strings de exploração ativas; dar crédito e atualizar se necessário.

EX050. Measure do NIST AI RMF: o arcabouço oferece um método para medir segurança e resiliência. Artigo 15 do AI Act da UE: fornece evidências sobre a robustez contra entradas adversariais para sistemas de alto risco. (O tratamento de riscos da ISO/IEC 42001 também é aceitável.)

EX051. Os ecos por encadeamento de ferramentas podem ser bloqueados por rastreamento de fluxo de informação sem perda inaceitável de utilidade? Podemos limitar o impacto de uma injeção bem-sucedida, e não a sua taxa? As defesas de separação se transferem para entradas multimodais (imagens, PDFs)?

EX052. As respostas variam; uma resposta completa separa a redução medida da segurança absoluta e combina o método com limites de privilégio, confirmação e monitoramento.