Capítulo 33 — Métodos de pesquisa II
Mapa da aula
Aula 33 publicada. Mapa, exemplo, EX097.
flowchart TD
N0["33.1 Da pergunta ao desenho"]
N1["33.2 Verdade de referência"]
N2["33.3 Critérios"]
N3["33.4 Fatores de confusão"]
N4["33.5 Análise"]
N5["33.6 Ética"]
N6["33.7 Limitações"]
N7["Tamanho da amostra e escopo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX097"]
Desenho lógico
flowchart LR
N0["33.1 Da pergunta ao desenho"]
N1["33.2 Verdade de referência"]
N2["33.3 Critérios"]
N3["33.4 Fatores de confusão"]
N4["33.5 Análise"]
N5["33.6 Ética"]
N6["33.7 Limitações"]
N7["Tamanho da amostra e escopo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX097"]
[33.1 Da pergunta ao desenho]
|
v
[33.2 Verdade de referência]
|
v
[33.3 Critérios]
|
v
[33.4 Fatores de confusão]
|
v
[33.5 Análise]
|
v
[33.6 Ética]
|
v
[33.7 Limitações]
|
v
[Tamanho da amostra e escopo]
|
v
[Exemplo resolvido] --> [Exercício EX097]
Objetivos de aprendizagem
Você vai (1) planejar um estudo comparativo; (2) definir critérios de avaliação; (3) controlar fatores de confusão; (4) analisar e relatar os resultados com suas limitações.
33.1 Da pergunta ao desenho
O projeto comparativo de Leah pergunta: "Numa imagem sintética de Windows com artefatos plantados conhecidos, com que completude duas ferramentas periciais gratuitas relatam artefatos de persistência e de execução?" A pergunta fixa o escopo: duas ferramentas, uma imagem sintética, dois tipos de artefato. Usar artefatos plantados significa que ela conhece a resposta certa de antemão, a única forma de medir a completude. Um estudo numa imagem real poderia comparar as ferramentas entre si, mas não com a verdade, já que ninguém saberia o que realmente estava lá.
33.2 Verdade de referência
Ela monta uma imagem sintética com uma lista documentada de artefatos plantados: arquivos, run keys, entradas de prefetch, tarefas agendadas. A verdade de referência é fixada antes de rodar qualquer uma das ferramentas. Fixar a verdade de referência primeiro a impede de ajustar a lista depois de ver as saídas das ferramentas, o que enviesaria os resultados. Cada item plantado é documentado com seu local e sua aparência esperada. A lista é guardada com um hash e uma data, para que um revisor possa confirmar que ela não mudou durante o estudo. Os padrões do sistema operacional que aparecem na imagem são listados à parte, para que não contem como relatos falsos.
33.3 Critérios
Completude (artefatos plantados relatados ÷ plantados), relatos falsos (artefatos relatados que não foram plantados e não são padrões do sistema operacional), tempo até o resultado e clareza da saída. Completude e relatos falsos medem a exatidão, enquanto tempo e clareza medem a usabilidade. Definir cada critério antes de rodar as ferramentas impede a escolha de medidas que favoreçam uma delas. Excluir os padrões do sistema operacional dos relatos falsos é uma regra justa, já que uma ferramenta que relata um arquivo genuíno do sistema não está errada; a regra é escrita de antemão.
33.4 Fatores de confusão
Versões das ferramentas, configurações, experiência do analista e hardware. Ela fixa as versões, usa configurações padrão documentadas de antemão, roda ambas na mesma máquina e analisa as saídas com um script, e não a olho, sempre que possível. Cada fator de confusão poderia produzir uma diferença sem nenhuma relação com a qualidade da ferramenta. Rodar as duas ferramentas na mesma máquina elimina as diferenças de hardware; versões fixas impedem que uma atualização mude os resultados no meio do estudo, algo que o exemplo resolvido mostra como ela tratou. Usar um script para comparar as saídas reduz a chance de que suas próprias expectativas influenciem o que ela conta.
33.5 Análise
Os resultados são comparados item a item, para que cada diferença possa ser remontada a um artefato específico. A comparação item a item permite a ela explicar cada falha, e não só contá-las. Se uma ferramenta deixa de relatar um artefato, ela confere a imagem bruta para confirmar que o artefato está presente e depois procura a causa na documentação ou nas configurações da ferramenta. Isso produz explicações com que os usuários da ferramenta podem agir, como mudar uma visualização padrão. Cada explicação é escrita ao lado do item na sua tabela de resultados, com a página da documentação ou a configuração que a confirma, para que o leitor possa conferir a causa de forma independente.
33.6 Ética
Nenhum dado real; ferramentas obtidas de fontes oficiais; resultados relatados com equidade, inclusive onde a ferramenta preferida dela se saiu pior. Relatar com equidade significa declarar os resultados mesmo quando decepcionam as expectativas dela. Obter as ferramentas de fontes oficiais evita cópias adulteradas e respeita as licenças. Dados sintéticos significam que nenhuma informação pessoal está envolvida. O plano pré-registrado, compartilhado com o Dr. Ferreira, é o registro de que seus métodos foram fixados antes de os resultados serem conhecidos, o que sustenta a afirmação de que a comparação foi justa e de que os resultados não foram escolhidos depois do fato.
33.7 Limitações
Uma imagem, um build do sistema operacional, configurações padrão; os resultados descrevem este teste, não a qualidade geral das ferramentas. Esses limites são declarados logo de início para que os leitores não generalizem demais. Outro build do sistema operacional poderia mudar o formato das entradas de prefetch, e outras configurações poderiam mudar quais arquivos uma ferramenta mostra. Os resultados dela dizem aos peritos o que conferir nos seus próprios sistemas, não qual ferramenta é melhor no geral. Um leitor que trabalha com outro build deve repetir o teste com artefatos plantados antes de confiar em qualquer uma das ferramentas para os mesmos artefatos. O parágrafo de limitações diz isso em palavras simples e aparece ao lado da tabela de resultados, e não no fim.
Tamanho da amostra e escopo
Com uma única imagem, Leah não consegue estimar com que frequência as ferramentas deixam de relatar artefatos em geral. Ela enquadra o estudo como um estudo de caso que encontra pontos cegos específicos e sugere um conjunto maior de imagens como trabalho futuro. Enquadrar a afirmação de acordo com o desenho evita excessos.
Exemplo resolvido
Leah pré-registra seu plano com o Dr. Ferreira: lista da verdade de referência, critérios, configurações, script de análise. Quando sai uma atualização de uma ferramenta no meio do estudo, ela mantém a versão original por consistência e anota a atualização como trabalho futuro.
Caso sintético. O estudo é inventado.
Erros e limites
As comparações podem ser injustas se uma ferramenta precisar de uma opção fora do padrão para analisar um artefato; registre esses casos em vez de declarar um "vencedor".
Exercícios
- EX097 — Verdade de referência. Por que fixar a verdade de referência antes de rodar as ferramentas? Rubrica: 3 = evita ajustar a verdade às saídas; permite pontuação justa; 2 = parcial; 1 = conveniência; 0 = nada.
- EX098 — Fatores de confusão. Cite três fatores de confusão e seus controles. Rubrica: 3 = versões, configurações, hardware/analista, com controles; 2 = dois; 1 = um; 0 = nada.
- EX099 — Atualização no meio do estudo. Como a atualização da ferramenta foi tratada? Rubrica: 3 = manteve a versão original; anotou como trabalho futuro; 2 = parcial; 1 = trocou de versão; 0 = nada.
Síntese
Estudos comparativos precisam de verdade de referência fixa, critérios definidos de antemão, fatores de confusão controlados e relato justo.
Continue estudando — capítulo 33 de 40
← Capítulo 32 (rascunho) · Índice de capítulos do curso · Capítulo 34 (rascunho) →