Capítulo 8 — Revisão independente e defesa

Capítulo 8 — Revisão independente e defesa

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX050.

flowchart TD
  N0["8.1 Revisão independente dos métodos"]
  N1["8.2 Perguntas prováveis na defesa"]
  N2["8.3 Respondendo aos achados"]
  N3["8.4 Devolvendo valor"]
  N4["8.5 Depois da defesa"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX050"]

Desenho lógico

flowchart LR
  N0["8.1 Revisão independente dos métodos"]
  N1["8.2 Perguntas prováveis na defesa"]
  N2["8.3 Respondendo aos achados"]
  N3["8.4 Devolvendo valor"]
  N4["8.5 Depois da defesa"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX050"]

[8.1 Revisão independente dos métodos]
    |
    v
[8.2 Perguntas prováveis na defesa]
    |
    v
[8.3 Respondendo aos achados]
    |
    v
[8.4 Devolvendo valor]
    |
    v
[8.5 Depois da defesa]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX050]

Objetivos de aprendizagem

Você vai (1) encomendar uma revisão independente dos métodos antes da entrega; (2) preparar-se para as perguntas da defesa sobre desenho e ética; (3) responder com transparência aos achados da revisão; (4) planejar a devolução dos resultados à comunidade que forneceu os dados.

8.1 Revisão independente dos métodos

Um colega de fora do projeto refaz a análise a partir do arquivo, usando os arquivos de amostra sintéticos, e verifica se cada figura coincide. Um segundo leitor verifica se nenhuma informação restrita vazou para o texto, as tabelas ou as legendas das figuras. As duas revisões são documentadas. No caso de Lucía, o colega que conferiu as figuras constatou que todas as medianas se reproduziam exatamente a partir do arquivo. O revisor de vazamentos encontrou uma legenda que nomeava a cidade de um porto. Cada achado e a sua correção foram para o registro de alterações, de modo que os examinadores puderam ver que as duas revisões foram reais, e não etapas formais.

8.2 Perguntas prováveis na defesa

Por que não um desenho aleatorizado? Como você lidou com os fatores de confusão? Com o que os membros consentiram? O que mudaria a sua conclusão? Por que medianas? O conjunto de regras de validação STIX está completo? Pratique respostas que citem as páginas da própria dissertação. Para Lucía, a resposta sobre os fatores de confusão cita a comparação pareada e o estrato antes e depois; a resposta sobre as medianas cita os dados de tempo assimétricos; e "o que mudaria a sua conclusão" cita a evidência de que o estrato antes e depois não mostre queda com a entrada. Respostas enraizadas no próprio desenho são mais difíceis de derrubar.

8.3 Respondendo aos achados

Se o revisor encontrar uma figura que não coincide, corrija-a, registre a correção em um registro de alterações e verifique se alguma conclusão muda. Os examinadores respeitam mais uma correção visível do que uma invisível descoberta depois. O registro de alterações de Lucía mostra o padrão para outro achado, a legenda que nomeava a cidade de um porto: a alteração, a data e o aviso ao conselho estão todos registrados. Se uma mediana não tivesse se reproduzido, o mesmo registro mostraria o valor corrigido e se a diferença de 7,0 horas ainda se mantinha.

8.4 Devolvendo valor

O CPSG deu os dados; a comunidade deve receber os resultados primeiro. Lucía apresenta o resumo ao conselho de governança antes da defesa pública, sob as regras de agregação acordadas. O NIST SP 800-150 ressalta que as relações de compartilhamento dependem de confiança e reciprocidade; uma pesquisa que extrai sem devolver corrói as duas. O resumo também traz a nota de qualidade de dados, sobre a qual os membros podem agir de imediato: ao corrigir as exportações sem valid_from ou spec_version, os produtores tornam mais confiáveis o próximo estudo e a automação dos seus próprios consumidores. As medianas de 3,0 e 10,0 horas chegaram ao conselho do CPSG antes de os examinadores as verem, o que preserva a reciprocidade que o NIST SP 800-150 descreve.

8.5 Depois da defesa

Exclua os tempos brutos conforme o acordado, arquive o código e as amostras sintéticas e registre a exclusão. Se for publicar um artigo, verifique de novo se a versão publicada ainda atende às condições do conselho. Para Lucía, o registro da exclusão é o último item que o conselho recebe: que arquivos foram excluídos, quando e por quem. Qualquer artigo redigido depois a partir da dissertação é verificado de novo contra as três condições do conselho antes da submissão. O código arquivado e as amostras sintéticas continuam disponíveis, de modo que o estudo ainda pode ser refeito depois que os tempos brutos se forem; a exclusão não enfraquece a reprodutibilidade, porque o arquivo foi desenhado em torno de arquivos sintéticos desde o início.

Exemplo resolvido

O revisor de vazamentos descobre que uma legenda de figura nomeia a cidade de um porto, o que identificaria o membro. Lucía a substitui por "Membro C", registra a alteração e avisa o conselho. O colega que confere as figuras constata que todas as medianas se reproduzem exatamente.

Caso sintético. Os achados da revisão e o aviso ao conselho são inventados.

Erros e limites

Um amigo que ajudou na análise não é independente. Apresentar à comunidade depois da publicação pode violar o acordo.

Exercícios

• EX050 — Duas revisões. O que cada um dos dois revisores independentes verifica? Rubrica: 3 = reprodutibilidade das figuras + vazamento de informação restrita; 2 = um; 1 = gramática; 0 = nenhum.
• EX051 — Resposta sobre a aleatorização. Redija uma resposta de uma frase para a defesa à pergunta "por que não aleatorizar?". Rubrica: 3 = não se pode designar a filiação, por razões éticas/práticas; usou antes e depois e pareamento; 2 = parcial; 1 = desconhece; 0 = nenhuma.
• EX052 — Vazamento na legenda. Por que nomear a cidade de um porto viola o acordo? Rubrica: 3 = identifica o membro apesar da regra de agregação; 2 = privacidade, de forma vaga; 1 = inofensivo; 0 = nenhum.
• EX053 — Registro de correção. O que contém uma entrada do registro de correções? Rubrica: 3 = o que mudou, por quê, a data, o efeito nas conclusões; 2 = dois; 1 = vago; 0 = nenhum.
• EX054 — Comunidade primeiro. Por que apresentar ao conselho antes da defesa pública? Rubrica: 3 = reciprocidade/confiança; acordo; oportunidade de verificar a agregação; 2 = cortesia; 1 = desnecessário; 0 = nenhum.
• EX055 — Prova da exclusão. Depois da avaliação, o que Lucía deve fazer com os tempos brutos? Rubrica: 3 = excluí-los conforme o acordado e registrar a exclusão; 2 = excluir; 1 = manter; 0 = nenhum.
• EX056 — Nova verificação para o artigo. O que precisa ser verificado de novo antes de transformar a dissertação em artigo? Rubrica: 3 = condições do conselho (agregação, nenhum nome) ainda atendidas no novo texto/figuras; 2 = vago; 1 = tentativa mínima; 0 = nenhum.

Síntese

Ponha olhos independentes sobre os números e os vazamentos, ensaie as respostas sobre desenho e ética, corrija às claras e devolva os resultados às pessoas que compartilharam.

Continue estudando — capítulo 08 de 08

← Capítulo 07 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo para EX001–EX056. O Coastline Ports Sharing Group, Lucía Ferraz, o Prof. Daniel Okafor e todos os números são sintéticos. As respostas dos laboratórios citam saídas verificadas. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.

EX001. População: operadores portuários. Intervenção: receber indicadores pela coleção TAXII 2.1 do CPSG. Comparação: operadores semelhantes fora do CPSG. Desfecho: tempo entre a publicação do indicador e uma regra de bloqueio.

EX002. Incluir: estudos empíricos que medem um desfecho do compartilhamento de informações sobre ameaças. Excluir: páginas de marketing de fornecedores sem método ou dados descritos.

EX003. Vertente de normas e orientações: o SP 800-150 explica como montar e operar o compartilhamento, mas não mede o desfecho que Lucía estuda.

EX004. Exemplo: "2026-02-03 | Biblioteca A | "threat intelligence sharing" AND (effectiveness OR evaluation OR measurement), 2011–2026 | 412 resultados | 112 resumos triados | 19 incluídos | excluídos: fora do tema, sem método, duplicados."

EX005. 32 (412 − 300 − 80).

EX006. Apenas 3 das 19 obras incluídas medem um desfecho; a maioria descreve processos, então a eficácia medida é a área escassa.

EX007. Regras fixadas depois de ler os resultados podem ser dobradas para manter as fontes convenientes e descartar as inconvenientes; regras fixas tornam a revisão repetível e sem viés.

EX008. Direção e retroalimentação: os SOCs raramente recebem requisitos escritos, e os consumidores raramente relatam se a inteligência ajudou, então o ciclo funciona em malha aberta.

EX009. Estratégica — uma tendência do setor dirigida a executivos e planejadores, e não a analistas que escrevem regras.

EX010. Os adversários trocam endereços IP a baixo custo, mas mudar um comportamento como a técnica de phishing custa mais, então o mapeamento para o T1566 continua útil por mais tempo.

EX011. A partir do domínio remetente (infraestrutura), encontrar outros eventos nos dados da comunidade que usaram o mesmo domínio ou registrante, revelando outras vítimas ou campanhas.

EX012. TLP:CLEAR, TLP:GREEN, TLP:AMBER, TLP:AMBER+STRICT, TLP:RED.

EX013. Consultas ou contatos visíveis podem alertar o investigado, que pode trocar de infraestrutura, destruir evidências ou retaliar, e podem expor o investigador.

EX014. Entrega.

EX015. Tamanho da equipe do SOC: portos maiores tanto entram com mais frequência em comunidades quanto têm mais analistas para escrever regras de bloqueio depressa.

EX016. Comparar um porto com o seu próprio período anterior à filiação mantém constantes características estáveis como porte e orçamento, isolando a mudança em torno da entrada.

EX017. Com pelo menos três portos em cada grupo, nenhum leitor consegue deduzir de trás para a frente os tempos de um único membro.

EX018. De operadores não membros que se voluntariam e compartilham os próprios registros sob acordo escrito — nunca sondando os sistemas deles.

EX019. Os nomes de usuário dos analistas: o estudo precisa de tempos, não de pessoas, então removê-los minimiza o tratamento de dados pessoais.

EX020. Os dados desse membro são excluídos por inteiro; a aprovação do conselho não se sobrepõe a uma recusa individual.

EX021. Para que qualquer pessoa que refaça a análise obtenha exatamente os mesmos resultados reamostrados.

EX022. H1 ... inconsistent=0, H2 ... inconsistent=2, H3 ... inconsistent=3 (0, 2 e 3 inconsistências).

EX023. E2, acesso a partir de uma conta de VPN de um prestador de serviços: é consistente com as três hipóteses, então não consegue discriminar entre elas.

EX024. A H1 é apenas a menos contradita entre as hipóteses consideradas; o conjunto de evidências é pequeno, e uma explicação não listada poderia se ajustar melhor.

EX025. Exemplo: "provável" = 55–80%. Kent mostrou que os leitores atribuem números muito diferentes à mesma palavra, então um intervalo publicado mantém o significado consistente.

EX026. Exemplo: a descoberta de que a conta do prestador foi usada a partir de uma estação de trabalho de funcionário dentro do porto durante a intrusão.

EX027. Exemplo: um corretor de acesso inicial que vendeu o acesso à VPN ao grupo de ransomware — distinta porque envolveria dois atores.

EX028. T1486.

EX029. ttb_h: horas entre a publicação do indicador (t_pub) e a ativação da regra de bloqueio (t_block); float; unidade horas; derivado como (t_block − t_pub)/3600 s; ausente se não houve bloqueio.

EX030. Se os membros registram o momento de ativação da regra de bloqueio (t_block) com precisão suficiente para calcular horas.

EX031. Analisar esse membro em um estrato separado, em dias, e relatar a menor precisão como limitação.

EX032. Deriva: substitui o constructo do tempo até o bloqueio pela satisfação, respondendo a uma pergunta diferente e mais fácil.

EX033. Registra os indicadores que os membros escolheram não bloquear, para que o estudo não olhe apenas os indicadores bem-sucedidos.

EX034. O carimbo de tempo created do indicador, apoiado por valid_from.

EX035. Não. Os dados do piloto testam a viabilidade; pertencem ao capítulo de métodos, não aos resultados.

EX036. PROBLEMS: pattern, valid_from, id format.

EX037. Falta spec_version, que o STIX 2.1 exige em todo objeto de domínio.

EX038. Alguns bloqueios muito lentos tornam a distribuição assimétrica; a mediana reflete o caso típico sem ser arrastada pelos valores extremos.

EX039. Mediana dos membros 3,0 h (median=3.0h), mediana dos não membros 10,0 h (median=10.0h), razão 3,33 (ratio=3.33).

EX040. Exemplo: "Nesta pequena amostra (7 membros, 6 não membros), a filiação esteve associada a uma mediana menor do tempo até o bloqueio (3,0 h contra 10,0 h); a causalidade não está estabelecida."

EX041. Um intervalo de confiança bootstrap para a diferença de medianas, reamostrando cada grupo com reposição muitas vezes; ou um teste de postos de Mann–Whitney.

EX042. Não. Excluir o objeto da análise de tempos e relatá-lo como achado de qualidade de dados; inventar valores é fabricar dados.

EX043. Enunciando a que objetivo ou pergunta de pesquisa responde.

EX044. Exemplo: "Apenas os membros com registros em segundos puderam contribuir com tempos em horas, o que provavelmente sobrerrepresenta os portos com mais recursos e enviesa para baixo as medianas dos membros; um estrato em dias foi analisado separadamente."

EX045. A diferença de medianas encontrada, a implicação para equipe ou automação e o que o estudo não mostra (nenhuma prova causal, amostra pequena).

EX046. TLP:CLEAR; portanto, não podem aparecer valores de indicadores AMBER, nomes de membros nem citações de boletins.

EX047. A primeira é uma observação (baseada em autodeclaração); a segunda é um julgamento analítico.

EX048. As descrições que os membros fizeram da própria automação não foram verificadas e podem ser imprecisas, o que enfraquece qualquer julgamento de que a automação explica a diferença.

EX049. Com o consentimento dos membros, revisar os registros ou as configurações dos pipelines para registrar se a ingestão TAXII cria regras de bloqueio sem etapas humanas, com carimbo de tempo em cada etapa.

EX050. Um refaz a análise para confirmar que cada figura se reproduz; o outro verifica o texto, as tabelas e as legendas em busca de informação restrita vazada.

EX051. "A filiação não pode ser designada ao acaso aos operadores portuários, então usei uma comparação antes e depois para os membros que entraram, mais não membros voluntários pareados, para reduzir os fatores de confusão."

EX052. Uma cidade pode identificar um único porto membro, anulando a regra de agregação imposta pelo conselho.

EX053. O que mudou, por quê, a data e se alguma conclusão se moveu em consequência.

EX054. O CPSG compartilhou os dados com base na confiança; apresentar primeiro honra a reciprocidade e permite ao conselho confirmar que as regras de agregação foram cumpridas antes que algo se torne público.

EX055. Excluir os tempos brutos conforme exige o acordo e manter um registro datado da exclusão.

EX056. Que cada nova frase, tabela e figura ainda atende às condições do conselho — agregação em grupos de três ou mais e nenhum nome ou localização de membro.