Capítulo 3 — Desenho do estudo, ética e reprodutibilidade
Mapa da aula
Aula 03 publicada. Mapa, exemplo, EX015.
flowchart TD
N0["3.1 Dados reais ou sintéticos"]
N1["3.2 Aprovação ética"]
N2["3.3 Verdade de referência"]
N3["3.4 Medidas"]
N4["3.5 Controles"]
N5["3.6 Plano de reprodutibilidade"]
N6["3.7 Validação de ferramentas"]
N7["Plano de gestão de dados"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX015"]
Desenho lógico
flowchart LR
N0["3.1 Dados reais ou sintéticos"]
N1["3.2 Aprovação ética"]
N2["3.3 Verdade de referência"]
N3["3.4 Medidas"]
N4["3.5 Controles"]
N5["3.6 Plano de reprodutibilidade"]
N6["3.7 Validação de ferramentas"]
N7["Plano de gestão de dados"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX015"]
[3.1 Dados reais ou sintéticos]
|
v
[3.2 Aprovação ética]
|
v
[3.3 Verdade de referência]
|
v
[3.4 Medidas]
|
v
[3.5 Controles]
|
v
[3.6 Plano de reprodutibilidade]
|
v
[3.7 Validação de ferramentas]
|
v
[Plano de gestão de dados]
|
v
[Exemplo resolvido] --> [Exercício EX015]
Objetivos de aprendizagem
Você vai (1) escolher entre evidências reais e sintéticas; (2) obter aprovação ética e legal; (3) projetar medições de redução e de perdas; (4) planejar a reprodutibilidade.
3.1 Dados reais ou sintéticos
Imagens de casos reais contêm dados pessoais e são restritas por lei e por ordens judiciais. Garfinkel et al. (2009) defenderam corpora forenses padronizados e compartilháveis para que os resultados possam ser comparados. Tomás usa imagens sintéticas de notebooks que ele mesmo constrói: uma instalação limpa do sistema operacional, aplicativos-padrão e documentos de usuário plantados, de modo que a verdade de referência é conhecida. Construir as imagens ele mesmo significa que a origem e o rótulo de cada arquivo são conhecidos antes da filtragem, de modo que as perdas podem ser contadas com exatidão. O custo é o realismo: imagens sintéticas não têm a desordem de notebooks reais, o que ele registra como limitação.
3.2 Aprovação ética
Mesmo um trabalho sintético precisa de revisão ética se envolver pessoas (um estudo de concordância entre peritos envolve). Ele submete o projeto ao comitê da universidade, descrevendo o consentimento dos peritos participantes e confirmando que nenhum dado de casos sai da unidade policial. Sua submissão explica que os peritos vão classificar eventos apenas de imagens sintéticas, que seus resultados serão anonimizados e que eles podem desistir. Ela confirma que sua função policial não lhe dá acesso aos dados do estudo além do que qualquer participante veria. O comitê aprova a submissão antes de qualquer perito ser recrutado, e ele guarda a carta de aprovação no arquivo do projeto.
3.3 Verdade de referência
Cada arquivo plantado é rotulado como "relevante" ou "não relevante" antes da filtragem. Uma perda é um arquivo relevante posto de lado como conhecido. Rotular antes de filtrar impede que a visão retrospectiva mude o que conta como relevante. Tomás registra cada rótulo com a razão, como um documento de usuário ligado ao cenário sintético ou uma ferramenta legítima plantada com uso ilegítimo. As perdas projetadas são rotuladas como relevantes desde o início. Quando uma conferência motivada por sua banca constatou que um manual plantado era idêntico a uma entrada da NSRL, ele o rerrotulou como perda projetada, com uma razão documentada, em vez de excluí-lo. Os rótulos são arquivados com a semente de cada imagem, de modo que quem reconstrói uma imagem também recebe a verdade de referência usada para contar suas perdas.
3.4 Medidas
Redução = arquivos conhecidos ÷ todos os arquivos. Taxa de perda = arquivos relevantes postos de lado ÷ arquivos relevantes. Ambas são relatadas com as contagens. Relatar as contagens além das porcentagens permite que os leitores vejam em quantos arquivos um valor se baseia: uma taxa de perda calculada sobre um punhado de arquivos relevantes significa menos do que uma calculada sobre centenas. As duas medidas puxam em sentidos opostos, já que um filtro que põe de lado mais arquivos eleva a redução, mas pode também elevar as perdas. Tomás relata ambas para cada imagem, para que nenhuma seja apresentada sozinha. Suas tabelas de resultados mostram, imagem por imagem, as contagens de arquivos por trás de cada porcentagem de redução e de perda.
3.5 Controles
Ele fixa a versão do conjunto de referência e a versão da ferramenta de hash, e as registra, porque um conjunto de referência mais novo muda os resultados. Congelar essas versões transforma o conjunto de referência numa condição controlada em vez de móvel. Sem isso, uma versão lançada durante o estudo poderia mudar quais arquivos contam como conhecidos, e as diferenças entre imagens poderiam refletir a data em que foram processadas. Tomás registra a versão e a ferramenta de hash em cada entrada do registro. Mais tarde, seu piloto mostrou o quanto a redução depende da atualidade do conjunto de referência, o que tornou o controle ainda mais importante.
3.6 Plano de reprodutibilidade
Scripts, receitas de construção das imagens, valores de semente e a versão do conjunto de referência são arquivados; cada resultado remete a uma execução de script. Os valores de semente fazem o construtor de imagens produzir os mesmos arquivos a cada vez, de modo que outro pesquisador pode recriar as imagens em vez de confiar na descrição dele. Tomás testa o plano durante o piloto, reconstruindo uma imagem a partir do arquivo e conferindo se os hashes dos arquivos coincidem. O arquivo é liberado com a dissertação, exceto as respostas brutas dos peritos, que permanecem anonimizadas sob a aprovação ética.
3.7 Validação de ferramentas
O programa Computer Forensics Tool Testing do NIST publica métodos e relatórios de teste; Tomás confere sua ferramenta de hash contra vetores de teste conhecidos antes de usá-la. Um erro de hash faria arquivos parecerem desconhecidos ou, pior, conhecidos quando não são, por isso a validação da ferramenta protege as duas medidas. Tomás registra quais vetores de teste usou, a versão da ferramenta e os resultados. Quando o piloto produziu uma redução inesperadamente baixa numa imagem, ele pôde descartar falha da ferramenta em parte porque ela havia passado nessas conferências, e uma segunda ferramenta deu hashes idênticos. O registro de validação faz parte do arquivo, para que os examinadores possam conferir a versão da ferramenta contra os vetores de teste que ele usou.
Plano de gestão de dados
O plano lista onde as imagens e os scripts ficam armazenados, quem pode acessá-los e por quanto tempo são mantidos. Como as imagens são sintéticas, elas podem ser publicadas depois do estudo.
Exemplo resolvido
Sua banca pergunta se arquivos "relevantes" plantados poderiam, por acidente, ser iguais a arquivos publicados. Ele confere: um PDF plantado era um manual de fornecedor idêntico a uma entrada da NSRL. Ele o rerrotula com cuidado como perda projetada, documentando por quê, em vez de excluí-lo.
Caso sintético. A conversa com a banca é inventada.
Erros e limites
Imagens sintéticas podem não ter a desordem de notebooks reais; a redução medida nelas pode superestimar o efeito no mundo real.
Exercícios
- EX015 — Por que sintéticas. Dê duas razões para usar imagens sintéticas aqui. Rubrica: 3 = nenhum dado pessoal, verdade de referência conhecida; 2 = uma; 1 = mais baratas; 0 = nada.
- EX016 — Gatilho ético. Que parte do estudo precisa de revisão ética de participantes humanos? Rubrica: 3 = estudo de concordância entre peritos, consentimento; 2 = parcial; 1 = nenhuma necessária; 0 = nada.
- EX017 — Taxa de perda. Defina a fórmula da taxa de perda. Rubrica: 3 = relevantes postos de lado ÷ relevantes; 2 = parcial; 1 = razão errada; 0 = nada.
- EX018 — Controle de versão. Por que registrar a versão do conjunto de referência? Rubrica: 3 = versões novas mudam correspondências e resultados; 2 = parcial; 1 = hábito; 0 = nada.
- EX019 — PDF do manual. Como o manual do fornecedor foi tratado, e por quê? Rubrica: 3 = mantido como perda projetada, documentada; 2 = parcial; 1 = excluído; 0 = nada.
- EX020 — Desordem. Declare o risco de validade externa das imagens sintéticas. Rubrica: 3 = menos desordem pode superestimar a redução; 2 = vago; 1 = tentativa mínima; 0 = nada.
Síntese
Verdade de referência conhecida, versões fixas, aprovação ética e scripts arquivados transformam uma ideia de triagem num estudo defensável.
Continue estudando — capítulo 03 de 08
← Capítulo 02 (rascunho) · Índice de capítulos do curso · Capítulo 04 (rascunho) →