Capítulo 5 — Proposta e piloto
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Seções da proposta"]
N1["5.2 Cronograma"]
N2["5.3 Riscos"]
N3["Laboratório — filtragem de arquivos conhecidos"]
N4["5.4 Lendo o resultado"]
N5["5.5 Por que um piloto"]
N6["5.6 Revisões"]
N7["5.7 Revisão da orientadora"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Seções da proposta"]
N1["5.2 Cronograma"]
N2["5.3 Riscos"]
N3["Laboratório — filtragem de arquivos conhecidos"]
N4["5.4 Lendo o resultado"]
N5["5.5 Por que um piloto"]
N6["5.6 Revisões"]
N7["5.7 Revisão da orientadora"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX027"]
[5.1 Seções da proposta]
|
v
[5.2 Cronograma]
|
v
[5.3 Riscos]
|
v
[Laboratório — filtragem de arquivos conhecidos]
|
v
[5.4 Lendo o resultado]
|
v
[5.5 Por que um piloto]
|
v
[5.6 Revisões]
|
v
[5.7 Revisão da orientadora]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem
Você vai (1) escrever uma proposta de mestrado para um estudo pericial; (2) conduzir um piloto; (3) calcular a redução sobre dados sintéticos; (4) revisar o plano a partir dos achados do piloto.
5.1 Seções da proposta
Pergunta; fundamentação; método (imagens, conjunto de referência, ferramentas, medidas); ética e aspectos legais; riscos; cronograma; produtos. Tomás a mantém em doze páginas. Doze páginas o obrigam a declarar o método com clareza suficiente para que a banca julgue a viabilidade, sem o detalhe que pertence à dissertação. A parte de ética e aspectos legais explica por que as imagens são sintéticas e como os peritos participantes são protegidos. Os produtos incluem a dissertação, o construtor de imagens liberado e um resumo para profissionais. A Dra. Osei revisa uma versão completa antes que ela vá para a banca.
5.2 Cronograma
Meses 1–4: literatura e construção das imagens; 5–8: piloto e execuções principais; 9–12: estudo de concordância; 13–18: análise e redação; 19–24: revisão e defesa. Colocar o estudo de concordância depois das execuções principais significa que os peritos classificam eventos dos conjuntos reduzidos finais, e não das imagens do piloto. A redação começa no mês 13, mas Tomás rascunha os capítulos de revisão de literatura e de método ao longo do caminho, de modo que os últimos meses são dedicados aos resultados e à revisão. Cada fase termina com um relatório curto à Dra. Osei, que confere o andamento contra o plano. O cronograma faz parte da proposta que a banca aprova, por isso uma fase atrasada precisa ser explicada em relação a ele.
5.3 Riscos
Atualização do conjunto de referência no meio do estudo (mitigação: congelar uma versão); mudanças no acesso à unidade policial (mitigação: todos os dados sintéticos); recrutamento de participantes para o estudo de concordância (mitigação: recrutar em duas unidades). Cada risco é pareado com uma mitigação que pode ser aplicada antes que o risco ocorra. Congelar a versão do conjunto de referência elimina por completo o primeiro risco. Usar apenas imagens sintéticas significa que uma mudança nas regras de acesso de sua unidade policial não pode interromper o estudo. Recrutar em duas unidades torna mais provável que peritos suficientes participem do estudo de concordância. Tomás revisa a lista de riscos com a Dra. Osei a cada fase.
Laboratório — filtragem de arquivos conhecidos
"""Known-file filtering on a synthetic triage set (stdlib only)."""
import hashlib
known = {hashlib.sha256(f"os-file-{i}".encode()).hexdigest() for i in range(800)}
files = [f"os-file-{i}" for i in range(0, 800, 2)] + [f"user-doc-{i}" for i in range(100)]
hits = sum(hashlib.sha256(f.encode()).hexdigest() in known for f in files)
print(f"files={len(files)} known={hits} left_for_review={len(files)-hits}")
print(f"reduction={hits/len(files):.1%}")
Execute com python3 lab_nsrl.py. Saída verificada:
files=500 known=400 left_for_review=100
reduction=80.0%
5.4 Lendo o resultado
Dos 500 arquivos sintéticos, 400 correspondem ao conjunto de referência sintético e 100 permanecem para revisão: uma redução de 80,0%. Todos os 100 arquivos restantes são documentos de usuário, e nenhum documento de usuário foi posto de lado, de modo que neste piloto a contagem de perdas é zero. A contagem zero de perdas mostra que os scripts funcionaram, não que a filtragem é segura: o piloto não plantou perdas projetadas, então não havia nada para a filtragem esconder. Tomás declara isso ao lado dos valores do piloto, para que nenhum leitor os confunda com um teste da hipótese. A execução principal acrescenta perdas projetadas.
5.5 Por que um piloto
O piloto testa scripts, tempos e medidas, não a hipótese. Ele constatou que a etapa de hash levava quatro minutos por imagem, o que permitiu definir o orçamento do estudo principal. Como o piloto testa o procedimento, seus resultados não são combinados com os da execução principal. Sua principal lição para o orçamento é o tempo: com quatro minutos de hash por imagem, trinta imagens precisam de duas horas de hash, o que deixa a maior parte do tempo para construir imagens e conferir rótulos. O piloto também encontrou a imagem com redução baixa que levou a uma nova variável.
5.6 Revisões
O piloto mostrou que o construtor de imagens não instalava nenhum software de terceiros; Tomás acrescenta aplicativos comuns para que a cobertura de aplicativos do conjunto de referência também seja testada. Sem aplicativos de terceiros, as imagens continham apenas arquivos do sistema operacional e documentos de usuário, de modo que o estudo não poderia mostrar quão bem o conjunto de referência cobre o software comum. Acrescentar aplicativos também permite plantar de forma realista perdas projetadas que envolvem ferramentas legítimas. A revisão é registrada no protocolo antes da execução principal, com o achado do piloto que a motivou.
5.7 Revisão da orientadora
A Dra. Amara Osei pede uma regra de parada: a execução principal usa 30 imagens, fixadas de antemão, para que os resultados não sejam ajustados acrescentando imagens até que os números pareçam bons. Fixar o número de antemão protege o resultado de uma tentação comum: executar mais imagens até que um efeito apareça ou desapareça. Trinta imagens bastam para mostrar como a redução muda com o intervalo até o lançamento da referência, e cabem no orçamento de tempo definido pelo piloto. Tomás registra a regra de parada no protocolo. Se uma imagem falhar na construção, ela é relatada como ausente em vez de substituída.
Orçamento
São orçados o armazenamento de trinta imagens, uma estação de trabalho e o tempo dos peritos para o estudo de concordância. A unidade policial não fornece dados, apenas orientação opcional de servidores em seu próprio tempo.
Exemplo resolvido
Tomás escreve na proposta: "Medida primária: redução com contagens. Secundária: taxa de perda contra a verdade de referência plantada. Piloto: 500 arquivos, redução de 80,0%, 0 perdas — esperado, pois o piloto não plantou perdas projetadas."
Caso sintético. Os dados do piloto são gerados pelo script do laboratório.
Erros e limites
Um piloto sem perdas não diz nada sobre as taxas de perda reais; é preciso acrescentar casos de perdas projetadas.
Exercícios
- EX027 — Valores do laboratório. Relate a redução e os arquivos restantes do laboratório. Rubrica: 3 = 80,0%, 100 restantes de 500; 2 = um; 1 = errado; 0 = nada.
- EX028 — Propósito do piloto. O que um piloto testa? Rubrica: 3 = scripts, tempos, medidas, não a hipótese; 2 = parcial; 1 = responde à pergunta; 0 = nada.
- EX029 — Três riscos. Nomeie três riscos da proposta e suas mitigações. Rubrica: 3 = três pareados; 2 = dois; 1 = só os riscos; 0 = nada.
- EX030 — Revisão do construtor. O que foi mudado depois do piloto, e por quê? Rubrica: 3 = acrescentar aplicativos comuns para testar a cobertura; 2 = parcial; 1 = errado; 0 = nada.
- EX031 — Regra de parada. Por que fixar 30 imagens de antemão? Rubrica: 3 = impede o ajuste por acréscimo de imagens; 2 = parcial; 1 = conveniência; 0 = nada.
- EX032 — Zero perdas. Por que a contagem zero de perdas do piloto não é informativa? Rubrica: 3 = nenhuma perda projetada plantada; 2 = parcial; 1 = prova que é seguro; 0 = nada.
Síntese
Uma proposta curta, um piloto que funciona e uma regra de parada fixada de antemão preparam o estudo principal.
Continue estudando — capítulo 05 de 08
← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →