OpenCyber Academy
Mestrado · Capítulo 1 · Português
Código do curso: OCA-181Capítulo 01: OCA-181-C001

Capítulo 1 — Pergunta de pesquisa e método de revisão da literatura

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Do tema à pergunta"]
  N1["1.2 Uma busca documentada"]
  N2["1.3 Extração de evidências"]
  N3["1.4 Julgamento das fontes"]
  N4["1.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Do tema à pergunta"]
  N1["1.2 Uma busca documentada"]
  N2["1.3 Extração de evidências"]
  N3["1.4 Julgamento das fontes"]
  N4["1.6 Atividades práticas"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"]

[1.1 Do tema à pergunta]
    |
    v
[1.2 Uma busca documentada]
    |
    v
[1.3 Extração de evidências]
    |
    v
[1.4 Julgamento das fontes]
    |
    v
[1.6 Atividades práticas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem

Você vai (1) passar de um tema a uma pergunta pesquisável com uma unidade de análise clara; (2) conduzir uma busca bibliográfica sistemática e documentada em veículos de segurança e de aprendizado de máquina e em servidores de preprints; (3) extrair evidências para uma matriz de comparação; (4) julgar a qualidade das fontes, inclusive preprints e material de fornecedores; e (5) escrever uma seção curta e honesta de estado da arte.

1.1 Do tema à pergunta

"Privacidade da IA" é um tema. "Deduplicar os registros de treino reduz a vantagem da inferência de pertencimento contra um classificador de texto ajustado, e a que custo de acurácia?" é uma pergunta. Uma pergunta pesquisável nomeia um sistema (classificador ajustado), uma intervenção ou fator (deduplicação), um desfecho (vantagem da inferência de pertencimento; acurácia) e, implicitamente, uma comparação (com versus sem). O acrônimo PICO, da medicina baseada em evidências (população, intervenção, comparação, desfecho — outcome), é um modelo útil. Verifique a viabilidade cedo: você consegue obter ou sintetizar os dados, tem capacidade computacional, o trabalho cabe no prazo, e ele é ético e autorizado?

1.2 Uma busca documentada

A literatura de segurança de IA está espalhada por conferências de segurança (IEEE S&P, USENIX Security, ACM CCS, NDSS), conferências de aprendizado de máquina (NeurIPS, ICML, ICLR) e preprints do arXiv, além de frameworks do NIST, da OWASP e do MITRE. Escreva um protocolo de busca: bases (por exemplo, DBLP, Google Scholar, arXiv, ACM Digital Library), expressões de busca, intervalo de datas, critérios de inclusão e exclusão, e a data em que você buscou. Siga as citações para frente e para trás a partir de artigos-semente — para inferência de pertencimento, Shokri et al. (arXiv:1610.05820) é a semente óbvia. Registre as contagens em cada etapa (encontrados, triados, incluídos) para que um leitor possa repetir a busca. Esta é uma versão leve da prática de revisão sistemática; ela protege você de citar apenas o que já conhecia.

1.3 Extração de evidências

Monte uma matriz com uma linha por artigo e colunas para: modelo de ameaça (conhecimento e acesso do atacante), tipo e tamanho do modelo, dados, métrica, resultado principal, defesa testada, avaliação adaptativa, disponibilidade de código e limitações. Em trabalhos de privacidade, registre se o artigo relata a taxa de verdadeiros positivos com baixa taxa de falsos positivos (TPR com FPR baixa) ou apenas acurácia/AUC médias; a primeira importa porque um ataque que identifica com confiança alguns indivíduos é um dano real, mesmo que o seu desempenho médio pareça modesto. A matriz vai revelar divergências e lacunas que se tornam a sua contribuição.

1.4 Julgamento das fontes

Ordene as evidências pelo quanto podem ser verificadas. Artigos revisados por pares com código publicado são os mais fortes; preprints podem ser excelentes, mas não foram revisados; blogs e marketing de fornecedores são alegações a verificar, não evidência. Normas e frameworks (NIST AI 100-1, AI 100-2 E2025, ISO/IEC 42001) definem vocabulário e expectativas; não são resultados experimentais. Quando um preprint sai depois num veículo, cite a versão final se ela for diferente. Nunca cite um artigo que você não abriu, e nunca invente um DOI: se não encontrar um identificador, cite o título, os autores, o ano e a URL que você de fato usou.

1.5 Exemplo resolvido (caso sintético da Harbourline)

O protocolo de Leo buscou no DBLP, no arXiv e no Google Scholar em 2 de fevereiro, com expressões que combinavam "membership inference", "fine-tuning", "deduplication" e "memorization", no período 2016–2026, incluindo estudos empíricos sobre classificadores ou modelos de linguagem e excluindo artigos sem modelo de ameaça declarado. Dos 212 resultados, 61 passaram na triagem por título, 24 na triagem por resumo e 17 na leitura do texto completo. A matriz mostrou que a maioria dos estudos relatava AUC, poucos relatavam TPR com FPR de 0,1% e só três testavam a deduplicação diretamente — todos em modelos de linguagem generativos, nenhum em classificadores ajustados. O parágrafo de estado da arte de Leo disse isso com clareza e citou Carlini et al. (arXiv:2012.07805) para a extração literal como o dano motivador.

O laboratório de inferência de pertencimento mostra a ideia central que Leo vai estudar: quando um modelo efetivamente memoriza os seus registros de treino (k = 1), o pertencimento é detectável; quando ele generaliza (k maior), o sinal se dissipa.

"""Lab M: membership inference against an overfit 1-nearest-neighbour 'model'
that returns a confidence score. Synthetic records only; teaching model."""
import random, math
rng = random.Random(5)
def rec(): 
    y = rng.random() < 0.5
    return [rng.gauss(0.6 if y else -0.6, 1.0) for _ in range(4)], int(y)
members = [rec() for _ in range(150)]; nonmembers = [rec() for _ in range(150)]
def confidence(x, y, k):
    # k-NN vote share for the true label, computed over the training set
    d = sorted((sum((a-b)**2 for a, b in zip(x, m)), my) for m, my in members)
    return sum(1 for _, my in d[:k] if my == y)/k
def auc(pos, neg):
    s = sum((p > n) + 0.5*(p == n) for p in pos for n in neg)
    return s/(len(pos)*len(neg))
for k in (1, 5, 25):
    pos = [confidence(x, y, k) for x, y in members]
    neg = [confidence(x, y, k) for x, y in nonmembers]
    best = max(sum(p >= t for p in pos)/len(pos) - sum(n >= t for n in neg)/len(neg)
               for t in sorted(set(pos + neg)))
    print(f"k={k:2d} attack_auc={auc(pos, neg):.3f} best_advantage={best:.3f}")

Saída esperada:

k= 1 attack_auc=0.600 best_advantage=0.200
k= 5 attack_auc=0.521 best_advantage=0.073
k=25 attack_auc=0.520 best_advantage=0.060

1.6 Atividades práticas

  1. Escreva o seu tema e, depois, três perguntas candidatas na forma PICO; escolha uma e justifique a viabilidade. 2. Escreva um protocolo de busca e execute-o, registrando as contagens. 3. Monte uma matriz de evidências com dez linhas. Nas perguntas, nomeie o sistema, a intervenção ou fator, a comparação e o desfecho, como faz a pergunta de Leo. Julgue a viabilidade por dados, computação, prazo e ética, e descarte qualquer pergunta que falhe em um deles. Na busca, registre as bases, as expressões, as datas e as contagens em cada etapa, para que outra pessoa possa repeti-la. Na matriz, inclua se cada artigo relata TPR com FPR baixa.

1.7 Erros e limites

Cinco erros se repetem, e cada um enfraquece a dissertação desde o início:

Exercícios

Síntese

Uma boa dissertação começa com uma pergunta estreita e viável e uma busca que outra pessoa possa repetir. A matriz de evidências transforma a leitura num mapa de lacunas, e a honestidade nas fontes mantém o mapa confiável.

Continue estudando — capítulo 01 de 08

← Página do curso · Índice de capítulos do curso · Capítulo 02 (rascunho) →

Respostas comentadas

EX001. "Em agentes de LLM que usam ferramentas e leem e-mails não confiáveis (P), exigir confirmação humana para ações de saída (I), em comparação com nenhuma confirmação (C), reduz a exfiltração bem-sucedida num benchmark em sandbox de 500 tarefas sintéticas (O)?"

EX002. Fontes/bases; expressões de busca; intervalo de datas; critérios de inclusão e exclusão; data da busca; contagens em cada etapa de triagem (também: rastreamento de citações).

EX003. Modelo de ameaça; tipo/tamanho do modelo; dados; métrica; resultado principal; defesa; avaliação adaptativa; disponibilidade de código; limitações. A avaliação adaptativa importa porque defesas testadas apenas contra ataques fixos costumam ser quebradas depois.

EX004. O dano à privacidade vem de identificar com confiança indivíduos específicos; um ataque com AUC modesta ainda pode identificar alguns registros com quase certeza, o que só a TPR com FPR baixa revela.

EX005. O artigo revisado por pares (conferido pela revisão) e o preprint do arXiv com código (verificável) perto do topo — qualquer das duas ordens pode ser defendida; o blog de fornecedor por último. O framework do NIST não é uma fonte experimental: ele fornece vocabulário e expectativas a citar para definições.

EX006. k = 1: AUC 0.600; k = 5: AUC 0.521. Memorizar (k = 1) vaza o pertencimento; fazer a média sobre os vizinhos remove a maior parte do sinal.

EX007. Cite os autores, o título, o nome do workshop e o ano, e a URL que você usou (com data de acesso). Nunca invente um DOI.