◇ OpenCyber Academy
Mestrado · Capítulo 8 · Português

Capítulo 8 — Revisão independente e defesa

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 8 — Revisão independente e defesa

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX045.

flowchart TD
  N0["8.1 Revisão independente antes da entrega"]
  N1["8.2 A apresentação da defesa"]
  N2["8.3 Respostas aos examinadores"]
  N3["8.4 Correções e divulgação"]
  N4["8.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX045"]

Desenho lógico

flowchart LR
  N0["8.1 Revisão independente antes da entrega"]
  N1["8.2 A apresentação da defesa"]
  N2["8.3 Respostas aos examinadores"]
  N3["8.4 Correções e divulgação"]
  N4["8.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX045"]

[8.1 Revisão independente antes da entrega]
    |
    v
[8.2 A apresentação da defesa]
    |
    v
[8.3 Respostas aos examinadores]
    |
    v
[8.4 Correções e divulgação]
    |
    v
[8.6 Atividades práticas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX045]

Objetivos de aprendizagem

Você vai (1) encomendar e usar uma revisão independente do código e do texto antes da entrega; (2) preparar uma apresentação de defesa; (3) responder às perguntas dos examinadores com evidência e limites; (4) atender às correções exigidas; e (5) planejar a divulgação, incluindo um resumo curto para profissionais.

8.1 Revisão independente antes da entrega

Peça a um colega que não trabalhou no projeto que (a) reproduza uma tabela principal a partir do seu apêndice de artefatos, (b) leia o método e diga o que não conseguiria repetir e (c) leia o resumo e diga o que ele acha que você alega. Cada uma revela um problema diferente: dependências ocultas, detalhes de método ausentes e alegações exageradas. Uma revisão de código curta, focada no cálculo das métricas e nas partições dos dados, vale o tempo; defeitos ali mudam conclusões. Foi assim que o colega de Leo encontrou um descarte silencioso de registros longos.

8.2 A apresentação da defesa

De vinte a trinta minutos: problema e pergunta; desenho e por quê; resultados com intervalos e custos; explicações concorrentes e o que as descartou; limitações; contribuição e próximos passos. Um slide deve responder à pergunta de pesquisa numa frase, com um número e um intervalo. O slide de resposta de Leo trouxe a diferença pareada com o seu intervalo. Coloque as explicações concorrentes antes das limitações, pois os examinadores vão perguntar sobre elas. Ensaie com um cronômetro e um colega que faça perguntas difíceis, e prepare slides de reserva para a ablação e as verificações de qualidade, para poder mostrar a evidência quando ela for pedida.

8.3 Respostas aos examinadores

Espere perguntas sobre escolhas de desenho ("por que dados sintéticos?"), ameaças à validade ("isso valeria para notas reais?"), estatística ("cinco sementes bastam?"), explicações alternativas ("isso não é só sobreajuste?") e prática ("o que a Harbourline deveria fazer?"). Responda em três partes: resposta direta, evidência, limite. Quando não souber, diga isso e diga como descobriria. As respostas de Leo no exemplo resolvido abaixo seguem essa forma: a ablação como evidência, o ataque como limite. Prepare respostas escritas para cada pergunta esperada e ensaie-as com um colega que faça o papel de examinador crítico.

8.4 Correções e divulgação

Os examinadores costumam exigir correções. Faça cada mudança, liste-a numa tabela de correções com referências de página e devolva-a sem demora. As opções de divulgação incluem um artigo de workshop, um repositório público com o gerador sintético e um resumo de duas páginas para profissionais que enuncie o achado, as condições e o próximo passo recomendado — mapeado, quando pertinente, aos frameworks que a organização usa, como as funções Measure (Medir) e Manage (Gerenciar) do NIST AI RMF ou o seu processo de tratamento de riscos da ISO/IEC 42001. O resumo para profissionais de Leo apresenta a deduplicação como um controle candidato de baixo custo sob o ataque avaliado.

8.5 Exemplo resolvido (caso sintético da Harbourline)

Um colega, ao reproduzir a tabela principal de Leo, descobriu que o script de avaliação descartava silenciosamente registros com mais de 512 tokens, cerca de 3% dos não membros. Leo corrigiu o problema; a TPR com FPR de 1% mudou 0,2 ponto e as conclusões se mantiveram, e ele registrou a correção. Na defesa, um examinador perguntou: "Isso não é só sobreajuste?" Leo mostrou a ablação de remoção aleatória e a análise com diferenças de generalização equiparadas: "Parte do efeito está ligada ao tamanho — 1,9 ponto —, mas os 3,7 pontos restantes são específicos das duplicatas, sob este ataque." Outro perguntou se a Harbourline não deveria adotar a privacidade diferencial no lugar. Leo respondeu que a DP dá garantias formais (Abadi et al., arXiv:1607.00133) a um custo de utilidade que ele não mediu; a deduplicação é complementar e barata, e uma comparação com a DP é trabalho futuro.

O laboratório de inferência de pertencimento pode ser usado na defesa para mostrar o conceito central em trinta segundos.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Saída esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

8.6 Atividades práticas

  1. Organize uma revisão com reprodução e leitura do resumo. 2. Monte uma apresentação de defesa com um slide de resposta. 3. Escreva o resumo para profissionais. Na revisão, peça a um colega que reproduza uma tabela e leia o resumo, e registre o que ele encontrou. Na apresentação, inclua um slide que responda à pergunta com um número e um intervalo, como o de Leo fez com a diferença de 3,7 pontos. No resumo, enuncie o achado, as condições e o próximo passo, e limite-o a duas páginas. Anote o que mudou.

8.7 Erros e limites

Quatro erros se repetem, e cada um enfraquece a etapa final; confira a sua entrega quanto aos quatro:

Exercícios

Síntese

A revisão independente pega os erros que você não consegue ver; a defesa testa se você consegue ligar cada alegação à evidência e aos seus limites. Um resumo cuidadoso para profissionais leva o resultado à prática sem perder as suas condições.

Continue estudando — capítulo 08 de 08

← Capítulo 07 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo; qualquer resposta que atenda à rubrica recebe a mesma pontuação. A Harbourline Mutual e todos os seus números são sintéticos.

EX001. "Em agentes de LLM que usam ferramentas e leem e-mails não confiáveis (P), exigir confirmação humana para ações de saída (I), em comparação com nenhuma confirmação (C), reduz a exfiltração bem-sucedida num benchmark em sandbox de 500 tarefas sintéticas (O)?"

EX002. Fontes/bases; expressões de busca; intervalo de datas; critérios de inclusão e exclusão; data da busca; contagens em cada etapa de triagem (também: rastreamento de citações).

EX003. Modelo de ameaça; tipo/tamanho do modelo; dados; métrica; resultado principal; defesa; avaliação adaptativa; disponibilidade de código; limitações. A avaliação adaptativa importa porque defesas testadas apenas contra ataques fixos costumam ser quebradas depois.

EX004. O dano à privacidade vem de identificar com confiança indivíduos específicos; um ataque com AUC modesta ainda pode identificar alguns registros com quase certeza, o que só a TPR com FPR baixa revela.

EX005. O artigo revisado por pares (conferido pela revisão) e o preprint do arXiv com código (verificável) perto do topo — qualquer das duas ordens pode ser defendida; o blog de fornecedor por último. O framework do NIST não é uma fonte experimental: ele fornece vocabulário e expectativas a citar para definições.

EX006. k = 1: AUC 0.600; k = 5: AUC 0.521. Memorizar (k = 1) vaza o pertencimento; fazer a média sobre os vizinhos remove a maior parte do sinal.

EX007. Cite os autores, o título, o nome do workshop e o ano, e a URL que você usou (com data de acesso). Nunca invente um DOI.

EX008. Evasão: um atacante com acesso por consulta (ou de caixa-branca) perturba entradas de teste para causar erro de classificação. Backdoor: um atacante que controla parte dos dados de treino insere exemplos com gatilho para provocar saídas escolhidas. Inferência de pertencimento: um atacante com acesso por consulta às saídas decide se um registro estava no treino.

EX009. O FGSM dá um passo de tamanho eps na direção do sinal do gradiente; o PGD dá muitos passos menores, projetando de volta no conjunto permitido a cada vez, e é um ataque mais forte.

EX010. Com saídas inteiras, o erro máximo dos pesos é 0.534 e a concordância de rótulos é 0.882 (contra 0.000/1.000 com precisão total). Saídas grosseiras reduzem a fidelidade, mas ainda deixam uma cópia aproximada útil.

EX011. O pertencimento revela que uma pessoa abriu um sinistro, o que pode implicar problemas de saúde, acidentes ou perdas — algo sensível em si.

EX012. Alguém de dentro com acesso de escrita às notas de treino poderia inserir notas com uma frase rara rotulada como "aprovação acelerada". Controles: acesso de escrita restrito e registrado, com proveniência dos dados de treino; auditorias antes do treino em busca de correlações raras entre tokens e rótulos e testes de gatilho depois do treino.

EX013. LLM01 Prompt Injection (instruções nos e-mails); LLM02 Sensitive Information Disclosure (detalhes do sinistro nas respostas); LLM06 Excessive Agency (envio de respostas sem revisão).

EX014. Por exemplo: que conhecimento do adversário se supõe, e a defesa é avaliada contra um atacante que a conhece? Os resultados são relatados com taxas baixas de falsos positivos e com intervalos entre sementes? Qual é o custo de utilidade ou de latência nas mesmas tarefas?

EX015. Estudo observacional dos registros de um assistente que o pesquisador está autorizado a estudar, com salvaguardas de consentimento/privacidade; os fatores de confusão (população de usuários, mudanças de funcionalidades) precisam ser discutidos. Um experimento é impossível porque não se pode controlar atacantes reais.

EX016. Independente: defesa (nenhuma vs treinamento adversarial). Dependentes: acurácia sob PGD com eps fixo; acurácia limpa. Controladas: arquitetura, épocas de treino, partição dos dados, passos/eps do ataque, sementes.

EX017. Se os não membros diferem na distribuição (por exemplo, registros mais novos), o ataque consegue distingui-los pela mudança de distribuição, não pelo pertencimento, e o vazamento medido fica inflado.

EX018. Licitude; limitação da finalidade; minimização dos dados; limitação da conservação; integridade e confidencialidade (segurança); responsabilização.

EX019. Taxas por semente 0.110, 0.130, 0.135, 0.105, 0.145 — uma amplitude de 0.105–0.145 — com média 0.125 e dp 0.017.

EX020. Repositório com controle de versão; ambiente fixado; arquivos de configuração; política de sementes; um comando por experimento; registros estruturados; cartão de dados.

EX021. A avaliação usou prompts de jailbreak mais fracos ou diferentes; o guardrail recusa em excesso (inclusive prompts benignos); a distribuição dos prompts difere entre as condições; artefatos do juiz ou da semente.

EX022. Remova o mesmo número de registros ao acaso (vários sorteios). Se o ganho de privacidade for igual ao da deduplicação, o tamanho do conjunto o explica; se a deduplicação ganhar mais, remover as duplicatas importa.

EX023. Os centroides fazem a média de centenas de pontos, então uma minoria de rótulos invertidos os desloca pouco; o backdoor usa uma terceira característica que é zero nos dados limpos, criando uma direção nova que os dados limpos não conseguem contrabalançar.

EX024. Acurácia limpa 0.968; sucesso do ataque 0.980.

EX025. Um ataque fraco pode fazer qualquer defesa parecer eficaz; um ataque calibrado e mais forte (sobretudo com FPR baixa) mostra se a redução sobrevive.

EX026. "Sob um ataque calibrado de inferência de pertencimento, a maior parte da redução observada no vazamento foi atribuível à remoção de registros duplicados, e não ao conjunto de treino menor."

EX027. Pergunta/motivação; contexto; desenho; explicações concorrentes/ablações; plano de análise; ética e proteção de dados; riscos e mitigações; cronograma; contribuição esperada.

EX028. Confirmar que o pipeline funciona de ponta a ponta; medir o tempo de execução; estimar a variabilidade; verificar que métricas e ataques se comportam de forma sensata; descobrir surpresas.

EX029. n ≈ 1,96² × 0,05 × 0,95 / 0,01² ≈ 1.825.

EX030. Todas as condições ficam perto do mínimo da métrica, de modo que as diferenças não aparecem. Leo substituiu o ataque por limiar de confiança por um ataque calibrado com modelos de referência.

EX031. eps 0.50 (0.840) e 0.75 (0.660): a acurácia não está perto do teto limpo (0.985) nem no nível do acaso (0.505 em 1.00), então as defesas podem ser distinguidas.

EX032. "Piloto, dia 3: ataque por limiar substituído por ataque calibrado; razão: efeito piso (TPR de 1–2% em todas as condições); efeito: condições separáveis." "Piloto, dia 4: corrigidos os modelos 12 e 19 do gerador; razão: notas quase idênticas entre classes; efeito: elimina o ruído de rótulo."

EX033. Se as condições rodam em blocos, uma mudança dependente do tempo (hardware, biblioteca, carga) pode se disfarçar de efeito do tratamento; a intercalação espalha esses problemas por todas as condições.

EX034. Todas as execuções presentes; canários passam (modelo sem defesa atacável, modelo com rótulos embaralhados no nível do acaso); nenhuma duplicata entre partições; valores de métricas plausíveis.

EX035. ASR de base 0.350; com defesa 0.190; IC de 95% da redução [0.120, 0.203].

EX036. Os itens variam em dificuldade; o pareamento cancela essa variação compartilhada, dando um intervalo mais estreito e correto para a diferença. Comparar intervalos separados que se sobrepõem é conservador e pode enganar.

EX037. Utilidade/acurácia; latência; recusas indevidas ou falsos positivos; custo de computação e de manutenção.

EX038. Como resultado exploratório, numa subseção rotulada, apresentado como hipótese para trabalho confirmatório futuro.

EX039. (a) Achado — uma quantidade medida. (b) Interpretação — uma explicação causal que precisa de evidência de ablação.

EX040. Interna: artefatos do gerador; de construto: uma única família de ataques; externa: uma única arquitetura, notas sintéticas em inglês; de conclusão: cinco sementes. (Cada uma com a ação tomada.)

EX041. "Seguindo Greshake et al. (arXiv:2302.12173), construímos injeções indiretas embutidas em documentos recuperados na nossa sandbox; as strings das cargas não são publicadas e ficam disponíveis a pesquisadores mediante pedido."

EX042. Repositório e commit; ambiente; comandos de reprodução por tabela; cartão de dados; cartão de modelo; hashes dos arquivos principais; declaração do que é retido e por quê.

EX043. A precisão total recupera os pesos exatamente (erro 0.000, concordância 1.000); duas casas decimais dão erro 0.004 (concordância 0.998); inteiros dão erro 0.534 (concordância 0.882). A precisão da saída faz parte do modelo de ameaça.

EX044. "A deduplicação é um controle de baixo custo que seguradoras que ajustam classificadores poderiam avaliar para reduzir o vazamento de pertencimento."

EX045. A reprodução de uma tabela encontra dependências ocultas e defeitos; a leitura do método encontra detalhes ausentes; a leitura do resumo encontra alegações exageradas.

EX046. "A deduplicação aproximada reduziu a TPR da inferência de pertencimento com FPR de 1% de 9,8% para 4,2%, 3,7 pontos (IC de 95%: 2,6–4,9) a mais do que a remoção aleatória, a um custo de 0,007 no macro-F1 — em notas sintéticas, uma única arquitetura, ataque calibrado."

EX047. As respostas variam; uma resposta completa dá uma resposta direta, a evidência da ablação ou do controle e um limite.

EX048. Descrever o defeito, a correção, a mudança de 0,2 ponto, que as conclusões se mantiveram, e registrá-lo no registro de desvios e nos métodos.

EX049. A privacidade diferencial limita formalmente a influência de cada registro, a um custo de utilidade mensurável. A deduplicação é uma heurística barata que mira registros repetidos; as duas são complementares.

EX050. "Remover as notas de sinistro duplicadas antes do ajuste fino reduziu aproximadamente à metade uma medida de vazamento de pertencimento no nosso estudo sintético, quase sem custo de acurácia. Isso valeu para um único tipo de modelo e dados sintéticos. Sugerimos um piloto numa cópia governada de dados reais antes de adotar a prática."