Capítulo 7 — Escrita da dissertação e limitações
Mapa da aula
Aula 07 publicada. Mapa, exemplo, EX039.
flowchart TD
N0["7.1 Estrutura"]
N1["7.2 Achados versus interpretação"]
N2["7.3 Limitações por tipo de validade"]
N3["7.4 Escrever sobre ataques com responsabilidade"]
N4["7.5 Apêndice de artefatos"]
N5["7.7 Atividades práticas"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX039"]
Desenho lógico
flowchart LR
N0["7.1 Estrutura"]
N1["7.2 Achados versus interpretação"]
N2["7.3 Limitações por tipo de validade"]
N3["7.4 Escrever sobre ataques com responsabilidade"]
N4["7.5 Apêndice de artefatos"]
N5["7.7 Atividades práticas"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX039"]
[7.1 Estrutura]
|
v
[7.2 Achados versus interpretação]
|
v
[7.3 Limitações por tipo de validade]
|
v
[7.4 Escrever sobre ataques com responsabilidade]
|
v
[7.5 Apêndice de artefatos]
|
v
[7.7 Atividades práticas]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX039]
Objetivos de aprendizagem
Você vai (1) estruturar uma dissertação de modo que cada capítulo sirva à pergunta de pesquisa; (2) escrever resultados e discussão que separem achados de interpretação; (3) escrever uma seção de limitações organizada por tipo de validade; (4) tratar com responsabilidade, na escrita, os detalhes sensíveis para a segurança; e (5) produzir um apêndice de artefatos que sustente a reprodução.
7.1 Estrutura
Uma estrutura comum: introdução (problema, pergunta, resumo da contribuição); contexto e trabalhos relacionados (a partir da sua matriz); método (desenho, dados, ataques, métricas, plano de análise); resultados (primários, secundários e exploratórios claramente rotulados); discussão (interpretação, explicações concorrentes, implicações); limitações; conclusão; referências; apêndices (artefatos, tabelas extras). Escreva o método de modo que um colega possa repeti-lo; escreva os resultados de modo que um leitor encontre a resposta à pergunta de pesquisa numa única tabela. A dissertação de Leo responde à sua pergunta numa tabela de TPR com FPR de 1% e macro-F1 para as quatro condições.
7.2 Achados versus interpretação
Os resultados dizem o que foi medido: "a deduplicação aproximada reduziu a TPR com FPR de 1% de 9,8% para 4,2%". A discussão interpreta: "isso sugere que os registros duplicados respondem por boa parte do vazamento, em linha com trabalhos sobre memorização em modelos de linguagem". Mantenha-os separados. Na discussão, volte às explicações concorrentes e diga quais as suas ablações descartaram. Leo moveu dos resultados para a discussão uma recomendação de que as seguradoras deveriam deduplicar, e a atenuou. Leia cada frase dos resultados e pergunte se ela relata uma medição; se ela explica ou recomenda, mova-a.
7.3 Limitações por tipo de validade
Organize as limitações pelos quatro tipos de validade. Interna: algo além do tratamento poderia explicar o efeito? (por exemplo, artefatos do gerador sintético.) De construto: as métricas medem a propriedade? (por exemplo, a TPR com FPR de 1% sob uma única família de ataques captura apenas parte do risco de privacidade.) Externa: o resultado se transfere? (por exemplo, uma única arquitetura de modelo, notas sintéticas, só em inglês.) De conclusão: a estatística é adequada? (por exemplo, cinco sementes.) Para cada uma, diga o que você fez e o que resta. Limitações escritas assim são um ponto forte; os examinadores desconfiam de dissertações que não declaram nenhuma.
7.4 Escrever sobre ataques com responsabilidade
Descreva os ataques no nível necessário para a compreensão e a reprodução em ambientes de pesquisa, cite os artigos originais e evite publicar detalhes operacionais dirigidos a sistemas em produção identificados pelo nome. Nunca inclua dados pessoais recuperados. Se você encontrou uma vulnerabilidade num produto real, siga a divulgação coordenada antes de a dissertação ser publicada. Rotule dados e organizações sintéticos como ficção em todo o texto. A dissertação de Leo descreve o ataque calibrado citando a sua fonte e a configuração usada, sem nenhum registro recuperado. Peça ao seu orientador que leia a descrição dos ataques em busca de detalhes operacionais antes da entrega.
7.5 Apêndice de artefatos
Inclua a URL do repositório e o commit, o ambiente, os comandos para reproduzir cada tabela, o cartão de dados do gerador sintético, o cartão de modelo (model card) de qualquer modelo publicado (Mitchell et al., arXiv:1810.03993) e os hashes dos arquivos principais. Diga o que não é publicado e por quê. O apêndice de Leo inclui o cartão de dados do gerador sintético, o commit do repositório, os comandos de cada tabela e os hashes dos arquivos. Ele declara que nenhum modelo é publicado e por quê. Peça a um colega que reproduza uma tabela apenas a partir do apêndice antes da entrega. Mantenha-o atualizado.
7.6 Exemplo resolvido (caso sintético da Harbourline)
A seção de limitações de Leo tem quatro subseções curtas. Validade externa: "Estudamos um único classificador transformer ajustado com notas sintéticas em inglês; os resultados podem diferir para modelos generativos, outros idiomas e dados reais de sinistros." Validade de construto: "Medimos a inferência de pertencimento com dois ataques; a inferência de atributos e a extração não foram estudadas." Ele moveu dos resultados para a discussão uma frase sobre "as seguradoras devem deduplicar" e a atenuou para "a deduplicação é um controle candidato de baixo custo que as seguradoras poderiam avaliar". O laboratório de extração é citado no seu capítulo de contexto como uma ilustração simples de por que a precisão da saída da API importa ao descrever modelos de ameaça.
"""Lab X: model extraction of a toy linear scoring API by querying it.
The 'API' returns a real-valued score; d+1 well-chosen queries recover the
weights exactly, and rounding the output limits fidelity. Synthetic model."""
import random
rng = random.Random(9)
d = 5
secret_w = [round(rng.uniform(-2, 2), 3) for _ in range(d)]; secret_b = 0.42
def api(x, decimals=None):
s = sum(a*b for a, b in zip(secret_w, x)) + secret_b
return round(s, decimals) if decimals is not None else s
for dec in (None, 2, 0):
b = api([0]*d, dec)
w = [api([1 if j == i else 0 for j in range(d)], dec) - b for i in range(d)]
err = max(abs(a-c) for a, c in zip(w, secret_w))
test = [[rng.uniform(-1, 1) for _ in range(d)] for _ in range(500)]
agree = sum((sum(a*c for a, c in zip(w, x))+b > 0) == (api(x) > 0) for x in test)/500
print(f"output_rounding={str(dec):4s} queries={d+1} max_weight_error={err:.3f} label_agreement={agree:.3f}")
Saída esperada:
output_rounding=None queries=6 max_weight_error=0.000 label_agreement=1.000
output_rounding=2 queries=6 max_weight_error=0.004 label_agreement=0.998
output_rounding=0 queries=6 max_weight_error=0.534 label_agreement=0.882
7.7 Atividades práticas
- Escreva a sua seção de limitações por tipo de validade. 2. Marque cada frase do seu capítulo de resultados como achado ou interpretação e mova as que estiverem fora do lugar. 3. Redija o apêndice de artefatos. Nas limitações, use os quatro tipos de validade e diga, para cada um, o que você fez e o que resta, como Leo fez para um classificador e notas sintéticas. No capítulo de resultados, marque cada frase e mova as interpretações para a discussão. No apêndice, liste repositório, commit, ambiente, comandos, cartões e hashes, e diga o que não é publicado.
7.8 Erros e limites
Quatro erros se repetem, e cada um torna as alegações menos confiáveis; confira o seu rascunho quanto aos quatro:
- Resultados e discussão misturados; isso confunde o que foi medido com a forma como é interpretado.
- Limitações genéricas ("são necessários mais dados"); não dizem nada aos examinadores sobre este estudo.
- Detalhes operacionais de ataque contra sistemas identificados pelo nome; ajudam atacantes sem ajudar os leitores.
- Recomendações enunciadas como achados; uma recomendação enunciada como achado alega mais do que os dados mostram, e é por isso que Leo moveu e atenuou a sua recomendação às seguradoras.
Exercícios
- EX039 — Achado ou interpretação. Classifique: (a) "a ASR caiu de 31% para 6%"; (b) "a defesa funciona porque remove o canal do atacante". Rubrica: 3 = (a) achado, (b) interpretação, com razão; 2 = só os rótulos; 1 = um; 0 = errado.
- EX040 — Validade. Escreva uma limitação para cada tipo de validade no seu projeto. Rubrica: 3 = quatro específicas; 2 = três; 1 = uma ou duas; 0 = nenhuma.
- EX041 — Detalhe responsável. Reescreva de forma responsável uma frase que dá uma carga exata e funcional contra um chatbot identificado pelo nome. Rubrica: 3 = descrição em nível de desenho, citação, sem alvo real nem string; 2 = parcial; 1 = ainda operacional; 0 = inalterada.
- EX042 — Apêndice de artefatos. Liste seis itens. Rubrica: 3 = seis pertinentes; 2 = quatro; 1 = dois; 0 = nenhum.
- EX043 — Citação do laboratório. O que o laboratório de extração mostra sobre a precisão da saída, com números? Rubrica: 3 = recuperação exata com precisão total (erro 0.000), 0.004 com 2 casas decimais, 0.534 com inteiros; a concordância cai para 0.882; 2 = números parciais; 1 = vago; 0 = errado.
- EX044 — Recomendação. Reescreva "As seguradoras devem deduplicar" no nível da evidência. Rubrica: 3 = controle candidato a avaliar, com condições; 2 = parcial; 1 = ainda prescritiva; 0 = inalterada.
Síntese
Uma dissertação é julgada pela clareza com que as suas alegações correspondem à sua evidência. Separar achados de interpretação, escrever limitações específicas e tratar com responsabilidade os detalhes dos ataques tornam o trabalho crível e seguro.
Continue estudando — capítulo 07 de 08
← Capítulo 06 (rascunho) · Índice de capítulos do curso · Capítulo 08 (rascunho) →