Capítulo 8 — Revisão independente e defesa
Mapa da aula
Aula 08 publicada. Mapa, exemplo, EX045.
flowchart TD
N0["8.1 Revisão por um segundo leitor"]
N1["8.2 A defesa oral"]
N2["8.3 Perguntas de prática"]
N3["8.4 Correções"]
N4["8.5 Divulgação"]
N5["8.6 Encerramento ético"]
N6["8.7 Próximos passos"]
N7["Ensaio"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX045"]
Desenho lógico
flowchart LR
N0["8.1 Revisão por um segundo leitor"]
N1["8.2 A defesa oral"]
N2["8.3 Perguntas de prática"]
N3["8.4 Correções"]
N4["8.5 Divulgação"]
N5["8.6 Encerramento ético"]
N6["8.7 Próximos passos"]
N7["Ensaio"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX045"]
[8.1 Revisão por um segundo leitor]
|
v
[8.2 A defesa oral]
|
v
[8.3 Perguntas de prática]
|
v
[8.4 Correções]
|
v
[8.5 Divulgação]
|
v
[8.6 Encerramento ético]
|
v
[8.7 Próximos passos]
|
v
[Ensaio]
|
v
[Exemplo resolvido] --> [Exercício EX045]
Objetivos de aprendizagem
Você vai (1) preparar-se para a revisão independente; (2) responder a perguntas de método e de prática; (3) lidar com correções; (4) planejar a divulgação.
8.1 Revisão por um segundo leitor
Antes da submissão, um professor de fora do projeto executa de novo os scripts a partir do arquivo e confere três tabelas. Uma figura estava com o rótulo errado; Tomás a corrige e registra a correção. Executar os scripts de novo testa o arquivo além dos resultados: se o segundo leitor consegue reproduzir as tabelas apenas a partir do arquivo, os examinadores também conseguem. A figura com rótulo errado tinha os eixos corretos, mas a legenda invertida. Tomás registra a correção em seu registro de revisões e executa de novo o script que a produziu.
8.2 A defesa oral
Os examinadores perguntam: Por que a NSRL? É um conjunto de referência público e documentado, mantido pelo NIST. Por que não hashing por similaridade? Escopo; é nomeado como trabalho futuro. Os dados sintéticos são realistas? A resposta vem da limitação de desordem e de seu efeito provável. As respostas de Tomás se apoiam diretamente na dissertação: a documentação pública da NSRL, a decisão de escopo registrada na revisão de literatura e o capítulo de limitações. Ele ensaia antes com a Dra. Osei e com um colega, praticando respostas curtas e diretas que apontam para evidências na dissertação.
8.3 Perguntas de prática
Um examinador externo vindo da indústria pergunta como um assistente técnico da defesa poderia contestar a filtragem no tribunal. Tomás responde que a contestação é legítima se arquivos foram postos de lado sem serem divulgados; o remédio é registrar o filtro, a versão da referência e seus resultados. A pergunta liga a pesquisa ao trabalho policial dele, em que as decisões de filtragem podem ser examinadas por um assistente técnico da defesa. Sua resposta reflete o resumo para profissionais: um perito que registra o filtro e seus resultados consegue explicar o que foi posto de lado e por quê. Os examinadores observam que isso torna o estudo útil para além da universidade.
8.4 Correções
As correções menores são acompanhadas numa tabela: comentário, mudança, página. Ele submete dentro do prazo. A tabela facilita que os examinadores confiram cada mudança. Tomás conclui as correções dentro do prazo, e a Dra. Osei confirma que estão feitas. Quando uma correção afeta uma figura ou tabela, ele executa de novo o script a partir do arquivo e atualiza o registro, para que a dissertação final e o arquivo coincidam. Ele também refaz a conferência de reprodutibilidade mais uma vez antes da submissão final. A tabela de correções é arquivada com a dissertação final, para que os examinadores vejam como cada um de seus comentários foi respondido.
8.5 Divulgação
Um artigo curto para uma conferência de profissionais; o construtor de imagens e os scripts liberados abertamente; uma apresentação para sua unidade. O artigo para profissionais relata os resultados de redução, as perdas projetadas e a recomendação da lista de vigilância, com as limitações das imagens sintéticas. Liberar o construtor de imagens e os scripts permite que outros pesquisadores testem a filtragem em suas próprias imagens. A apresentação para sua unidade explica como registrar a filtragem nas anotações do caso, usando o resumo para profissionais da dissertação. Cada produto aponta para a tag de versão arquivada citada na dissertação.
8.6 Encerramento ético
Os dados dos participantes do estudo de concordância são anonimizados e armazenados conforme a aprovação ética; nenhum dado de casos foi usado. As respostas dos peritos são mantidas apenas pelo tempo que a aprovação permite e depois são excluídas, como dizem os termos de consentimento. Tomás confirma ao comitê de ética que o estudo terminou como aprovado, sem desvios que afetassem os participantes. A confirmação é arquivada com o arquivo do projeto, e a Dra. Osei a assina como orientadora. As imagens sintéticas e os scripts permanecem públicos, pois não contêm dados pessoais.
8.7 Próximos passos
A unidade testa a prática da lista de vigilância por três meses, medindo com que frequência os arquivos retirados de volta importam. O teste avalia a recomendação que seu estudo propôs, mas não avaliou. Os peritos registram cada vez que um arquivo da lista de vigilância é retirado de volta do conjunto conhecido e se ele se mostrou relevante para o caso. Tomás projeta o formulário de registro, e o gestor da unidade revisa os resultados depois de três meses para decidir se mantém a prática. Tomás vai apresentar os resultados do teste à sua unidade junto com a recomendação da dissertação que o teste foi projetado para avaliar.
Ensaio
Duas semanas antes da defesa oral, Tomás ensaia com colegas de curso que fazem o papel de examinadores hostis. Eles insistem em realismo, tamanho da amostra e na pergunta sobre o tribunal. Ele anota cada resposta fraca e a aperta, citando a tabela ou a limitação exata que sustenta sua resposta, e pratica dizer "não sei" onde os dados não alcançam.
Exemplo resolvido
Perguntado "Então os peritos deveriam parar de filtrar?", Tomás responde: "Não. A filtragem reduziu fortemente a revisão nestas imagens. Os peritos devem registrá-la, manter uma lista de vigilância de uso dual e nunca descrever arquivos filtrados como examinados."
Caso sintético. A troca na defesa oral é inventada.
Erros e limites
Ser aprovado na defesa oral valida a dissertação, não o método para todo laboratório; a validação local continua necessária.
Exercícios
- EX045 — Conferência por nova execução. O que o segundo leitor fez e encontrou? Rubrica: 3 = executou de novo os scripts; figura com rótulo errado; 2 = um; 1 = vago; 0 = nada.
- EX046 — Por que a NSRL. Justifique a escolha do conjunto de referência. Rubrica: 3 = público, documentado, mantido pelo NIST; 2 = parcial; 1 = popular; 0 = nada.
- EX047 — Contestação judicial. Como deve ser respondida a pergunta sobre a contestação no tribunal? Rubrica: 3 = legítima se não divulgada; registrar filtro, versão, resultados; 2 = parcial; 1 = descartar; 0 = nada.
- EX048 — Tabela de correções. Que colunas a tabela de correções contém? Rubrica: 3 = comentário, mudança, página; 2 = duas; 1 = uma; 0 = nada.
- EX049 — Parar de filtrar? Resuma a resposta a "parar de filtrar?" Rubrica: 3 = não; registro, lista de vigilância, redação exata; 2 = parcial; 1 = sim; 0 = nada.
- EX050 — Validação local. Por que uma defesa aprovada não valida o método em todo lugar? Rubrica: 3 = os laboratórios diferem; validação local necessária; 2 = parcial; 1 = valida; 0 = nada.
Síntese
Faça o trabalho ser executado de novo, responda com afirmações delimitadas, acompanhe as correções e dê aos profissionais algo utilizável.
Continue estudando — capítulo 08 de 08
← Capítulo 07 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →
Resoluções
Respostas-modelo para EX001–EX050. Tomás Lindqvist, a Dra. Amara Osei, a Ridgeway University e todos os valores são sintéticos. As respostas dos laboratórios citam saídas verificadas. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.
EX001. "Em que proporção a filtragem de arquivos conhecidos com a NSRL reduz os arquivos que precisam de revisão em imagens NTFS de notebooks, e quantos arquivos relevantes ela exclui indevidamente?"
EX002. Respondível com dados lícitos, mensurável, delimitada no escopo e útil para os profissionais.
EX003. A base consultada, a data da busca, os termos exatos e o número de resultados retornados.
EX004. Como uma alegação não verificada de uma parte interessada; procure medição independente e revisada por pares antes de se apoiar nela.
EX005. Encontrar o estudo original, confirmar o valor e as condições em que foi medido e então citar o original.
EX006. Só três dos nove estudos incluídos mediram o que a filtragem deixa escapar, de modo que o lado do custo é pouco estudado.
EX007. "A busca cobriu artigos em língua inglesa de dois periódicos e dos anais do DFRWS, por isso trabalhos relevantes publicados em outros lugares podem estar ausentes."
EX008. No exame, em que os dados são reduzidos e extraídos antes que a fase de análise tire conclusões.
EX009. Apenas que o arquivo é idêntico, byte a byte, a um arquivo de software publicado cujo hash a NSRL calculou; não diz nada sobre se foi usado para o bem ou para causar dano.
EX010. Uma correspondência conhecida má chama a atenção para um arquivo; uma correspondência de software conhecido põe o arquivo de lado como conteúdo publicado comum. Elas têm significados opostos no fluxo de trabalho.
EX011. A modificação muda seu hash, de modo que ele deixa de corresponder à entrada de referência e permanece no conjunto de revisão.
EX012. Uma ferramenta legítima e não modificada usada para um propósito ilegítimo, que a filtragem esconde porque seu hash é publicado.
EX013. Quais imagens foram testadas? Qual versão do conjunto de referência foi usada? Algum arquivo relevante foi excluído, e como isso foi conferido?
EX014. "Os arquivos correspondentes ao conjunto de referência foram postos de lado e não foram examinados individualmente."
EX015. Elas não contêm dados pessoais de casos reais, e a relevância de cada arquivo é conhecida de antemão, o que dá uma verdadeira verdade de referência.
EX016. O estudo de concordância entre peritos, porque envolve participantes humanos que precisam consentir.
EX017. Taxa de perda = número de arquivos relevantes postos de lado como conhecidos ÷ número total de arquivos relevantes.
EX018. Os conjuntos de referência crescem; uma versão diferente pode corresponder a arquivos diferentes, mudando tanto a redução quanto as perdas.
EX019. Ele permaneceu nos dados como um caso de perda deliberado e documentado, porque removê-lo esconderia exatamente o risco que o estudo mede.
EX020. Notebooks reais guardam muito mais desordem única de usuário e de aplicativos, de modo que a redução em imagens sintéticas limpas pode superestimar o benefício no mundo real.
EX021. Mais arquivos de usuário na imagem, uma versão do sistema operacional mais nova do que o conjunto de referência ou uma falha da ferramenta de hash.
EX022. O hash de cada arquivo foi recalculado com uma segunda ferramenta independente; os hashes foram idênticos, por isso a falha da ferramenta foi rejeitada.
EX023. Pode ser malware, uma ferramenta feita sob medida internamente ou uma atualização legítima lançada depois do conjunto de referência.
EX024. O assinante da assinatura de código, o recurso de informação de versão e o local do disco em que foi instalado.
EX025. Pedir a um colega que avalie os arquivos às cegas, sem que lhe digam a hipótese de malware.
EX026. O número de dias entre a versão do sistema operacional e o lançamento do conjunto de referência, porque L3 mostrou que a atualidade do conjunto de referência determina a redução.
EX027. Redução de 80,0%: 400 de 500 arquivos corresponderam, deixando 100 para revisão.
EX028. Se os scripts rodam, quanto tempo as etapas levam e se as medidas podem ser calculadas — não se a hipótese se sustenta.
EX029. Atualização do conjunto de referência — congelar uma versão; perda do acesso à unidade — usar apenas dados sintéticos; recrutamento insuficiente — recrutar em duas unidades.
EX030. Aplicativos comuns de terceiros foram acrescentados às imagens, porque o piloto testou apenas arquivos do sistema operacional e o estudo também precisa da cobertura de aplicativos.
EX031. Fixar a quantidade de antemão impede que o pesquisador acrescente imagens até que os resultados pareçam favoráveis.
EX032. Nenhum arquivo relevante igual a software publicado foi plantado, de modo que uma perda era impossível por construção.
EX033. Concordância observada de 0,80, concordância esperada por acaso de 0,505 (impressa como 0,51), kappa de 0,596, relatado como 0,60.
EX034. Porque parte da concordância acontece por acaso, dada a combinação de categorias de cada perito; o kappa remove essa parcela.
EX035. Como uma convenção amplamente usada, de Landis e Koch (1977), não como um limiar objetivo.
EX036. Tarefas agendadas que rodaram sob uma conta de usuário, que as definições das categorias não resolviam.
EX037. Seus hashes são iguais aos de software ou documentos publicados, e uma correspondência de hash não diz nada sobre como um arquivo foi usado.
EX038. "Foram analisadas 29 das 30 imagens planejadas; uma falhou na construção", com a razão da falha declarada.
EX039. Os valores medidos e as contagens, declarados sem interpretação nem recomendações.
EX040. Os peritos mantêm hashes de ferramentas de uso dual e retiram os arquivos correspondentes de volta do conjunto conhecido, para que sejam revisados.
EX041. Imagens sintéticas não têm a desordem real, por isso a redução medida provavelmente superestima o que notebooks reais mostrariam.
EX042. Os resultados mostram que a filtragem esconde ferramentas legítimas usadas para causar dano, de modo que "segura" contradiz as evidências.
EX043. O que a filtragem faz, o que ela não pode fazer, como registrar seu uso nas anotações do caso e como descrevê-la em depoimentos judiciais.
EX044. Ela diz exatamente o que foi posto de lado e em que condições, e nomeia o ponto cego em vez de sugerir completude.
EX045. O leitor executou de novo os scripts arquivados, reproduziu três tabelas e encontrou uma figura com rótulo errado, que foi corrigida e registrada.
EX046. A NSRL é pública, documentada e mantida pelo NIST, de modo que outros podem obter a mesma versão e repetir o estudo.
EX047. A contestação é justa se a filtragem não foi divulgada; os peritos devem registrar o filtro, a versão do conjunto de referência e os resultados, para que possam ser examinados.
EX048. O comentário do examinador, a mudança feita e a página em que ela aparece.
EX049. Manter a filtragem, porque ela economiza muita revisão, mas registrá-la, manter uma lista de vigilância de uso dual e nunca chamar arquivos filtrados de examinados.
EX050. As ferramentas, os dados e as versões de referência de cada laboratório diferem, por isso cada um precisa validar o método em suas próprias condições.