Capítulo 8 — Plano de defesa e publicação

Capítulo 8 — Plano de defesa e publicação

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX050.

flowchart TD
  N0["8.1 Postura na defesa"]
  N1["8.2 Veículos"]
  N2["8.3 Sensibilidade dos fornecedores"]
  N3["8.4 O TLP nas saídas"]
  N4["8.5 Trabalho futuro"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX050"]

Desenho lógico

flowchart LR
  N0["8.1 Postura na defesa"]
  N1["8.2 Veículos"]
  N2["8.3 Sensibilidade dos fornecedores"]
  N3["8.4 O TLP nas saídas"]
  N4["8.5 Trabalho futuro"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX050"]

[8.1 Postura na defesa]
    |
    v
[8.2 Veículos]
    |
    v
[8.3 Sensibilidade dos fornecedores]
    |
    v
[8.4 O TLP nas saídas]
    |
    v
[8.5 Trabalho futuro]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX050]

Objetivos de aprendizagem

Você vai (1) preparar uma defesa que ponha os limites em primeiro plano; (2) escolher com responsabilidade os veículos de publicação e o momento do pre-print; (3) conduzir a divulgação quando os achados puderem constranger fornecedores identificados; (4) planejar um trabalho futuro que estenda a tese em vez de repeti-la.

8.1 Postura na defesa

Os examinadores testam se você sabe onde o seu resultado para. Abra com a afirmação, a evidência e as três ameaças mais fortes à validade. Um candidato que levanta o problema do viés de acompanhamento antes do examinador controla a conversa. As três ameaças de Tomas seriam o viés de acompanhamento, as fontes de desfecho que dependem do relatório original e um corpus que pode sobrerrepresentar incidentes dramáticos. A análise de sensibilidade responde à primeira, a verificação de circularidade à segunda, e o escopo declarado do corpus limita a terceira.

8.2 Veículos

Eventos de segurança com revisão por pares, periódicos de estudos de inteligência e conferências de profissionais alcançam públicos diferentes. Um resultado de método sobre calibração pode precisar dos dois: um periódico para o método e uma palestra para líderes de SOC. Os pre-prints aceleram a disseminação, mas devem trazer a mesma seção de limites que o artigo final. Para Tomas, o método de calibração e o livro de códigos cabem em um periódico; a mensagem prática — quanto peso dar a "altamente provável" em um relatório de fornecedor na hora de decidir um bloqueio — cabe em uma conferência de profissionais para líderes de SOC. O pre-print traz os mesmos intervalos de sensibilidade que o resumo.

8.3 Sensibilidade dos fornecedores

Mesmo com apresentação sintética ou anonimizada, um leitor pode adivinhar a que fornecedor um padrão se refere. Ofereça às partes afetadas uma prévia curta quando os acordos o exigirem, mas não deixe que a prévia vire veto sobre achados honestos. Nunca revele conteúdo restrito por TLP para obter boa vontade. A conduta de Tomas é o modelo: resultados relatados por classe anonimizada de fornecedor, prévias dadas aos dois parceiros da comunidade cujos acordos as exigiam, uma mudança de redação aceita e um pedido de retirar um resultado negativo recusado. A pergunta do examinador na defesa foi respondida com a descrição desse registro.

8.4 O TLP nas saídas

Artigos públicos são, na prática, TLP:CLEAR. Tudo o que derivar de entradas restritas precisa estar agregado o bastante para que a fonte não possa ser reconstruída. Em caso de dúvida, consulte a comunidade de compartilhamento. Os resultados de Tomas derivados dos 200 relatórios TLP:AMBER+STRICT aparecem apenas como agregados dentro de classes de fornecedor, e nenhum relatório é citado. Quando uma classe é tão pequena que um único relatório poderia ser identificado a partir da sua linha, a classe é fundida com outra antes da publicação. A regra de fusão está escrita no arquivo, para que um membro da comunidade de compartilhamento possa verificar que nenhum relatório restrito é recuperável a partir de uma linha publicada.

8.5 Trabalho futuro

Extensões naturais: um estudo prospectivo em que os analistas registram probabilidades numéricas no momento da escrita; uma comparação entre idiomas; uma intervenção que treine a calibração e meça a mudança. Cada uma precisa do próprio dossiê de ética. O estudo prospectivo responde à maior limitação de Tomas: se os analistas registrarem uma probabilidade numérica ao escrever um julgamento, não é preciso mapear expressões depois, e o pressuposto de mapeamento que os examinadores questionaram desaparece. Uma intervenção de treino de calibração estudaria os analistas como participantes; por isso, precisaria do consentimento informado deles, que o desenho atual, apenas sobre o corpus, nunca exigiu.

Exemplo resolvido

Na defesa, um examinador pergunta se os fornecedores foram identificados. Tomas explica que os resultados são relatados por classe anonimizada de fornecedor, que dois parceiros da comunidade tiveram uma prévia do artigo, como seus acordos exigiam, e que uma mudança de redação pedida foi aceita, enquanto um pedido de retirar um resultado negativo foi recusado.

Caso sintético. A troca na defesa e a prévia aos fornecedores são inventadas.

Erros e limites

Publicar um "ranking" da calibração dos fornecedores a partir de dados licenciados pode violar licenças e é metodologicamente frágil com amostras pequenas.

Exercícios

• EX050 — Movimento de abertura. Que três coisas o primeiro slide da defesa deve trazer? Rubrica: 3 = afirmação, evidência, ameaças mais fortes à validade; 2 = duas; 1 = biografia; 0 = nenhuma.
• EX051 — Dois veículos. Por que o resultado de calibração poderia ir tanto para um periódico quanto para uma conferência de profissionais? Rubrica: 3 = rigor do método/revisão por pares + alcançar quem decide no SOC; 2 = um motivo; 1 = mais citações; 0 = nenhum.
• EX052 — Veto na prévia. Um fornecedor pede, durante a prévia, que se retire um achado negativo. Qual é a resposta? Rubrica: 3 = recusar a retirada; considerar apenas correções factuais; documentar; 2 = recusar; 1 = retirar; 0 = nenhuma.
• EX053 — TLP de um artigo. Que nível de TLP um artigo público tem na prática, e o que decorre disso para as entradas restritas? Rubrica: 3 = CLEAR; entradas restritas apenas em agregados não reconstruíveis; 2 = apenas CLEAR; 1 = AMBER; 0 = nenhum.
• EX054 — Risco do ranking. Dê dois motivos para não publicar um ranking de calibração com fornecedores identificados. Rubrica: 3 = violação de licença/acordo + instabilidade por amostra pequena (ou equidade); 2 = um; 1 = vago; 0 = nenhum.
• EX055 — Desenho prospectivo. Descreva em uma frase o estudo prospectivo de continuação. Rubrica: 3 = analistas registram probabilidade numérica ao escrever; desfechos acompanhados para a frente; 2 = estudo prospectivo vago; 1 = repetir a tese; 0 = nenhum.
• EX056 — Regra do pre-print. O que um pre-print precisa incluir que um resumo de conferência poderia omitir? Rubrica: 3 = a seção completa de limites/validade; 2 = métodos; 1 = vago; 0 = nenhum.

Síntese

Comece pelos limites, escolha os veículos pelo público, deixe a prévia corrigir fatos, mas não achados, respeite o TLP em cada saída e estenda em vez de repetir.

Continue estudando — capítulo 08 de 08

← Capítulo 07 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo para EX001–EX056. O Larkspur CTI Lab, Tomas Ekberg, a Dra. Hana Sato, o corpus e todos os números são sintéticos. As respostas dos laboratórios citam saídas verificadas. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.

EX001. Base legal, os termos de uso ou de compartilhamento aplicáveis, a etapa de minimização e o prazo de retenção.

EX002. Apenas dentro do Larkspur CTI Lab, por pessoas cobertas pelo acordo de compartilhamento; sem citações, sem redistribuição, com resultados relatados apenas como agregados que não permitam identificar um relatório.

EX003. Os termos do fórum proíbem a raspagem para pesquisa e nenhuma permissão foi obtida; as postagens também contêm dados pessoais que a visibilidade pública não torna livres para tratamento.

EX004. Um escalonamento previamente acordado: avisar a orientadora, que contata um coordenador adequado, como um CERT nacional, por meio da comunidade de compartilhamento; Tomas não sonda a organização por conta própria.

EX005. Viés de confirmação. Fixar as hipóteses e o esquema de codificação antes de ver os dados de desfecho impede que a evidência posterior seja dobrada para caber em uma atribuição atraente.

EX006. Relatá-lo em uma seção exploratória claramente rotulada, separada dos resultados confirmatórios, e propor um estudo de acompanhamento para testá-lo.

EX007. Apenas membros nomeados do Larkspur com necessidade de conhecer documentada e vinculados ao acordo de compartilhamento.

EX008. Kill chain: um modelo de estratégia defensiva baseado em fases. Diamond Model: uma ontologia do evento de intrusão. ATT&CK: uma base de conhecimento empírica e curada do comportamento observado de adversários.

EX009. Exemplo: "Nenhum estudo publicado mede se os indicadores recebidos por meio de uma comunidade setorial de compartilhamento reduzem o tempo até a detecção nos SOCs dos membros em comparação com os de não membros."

EX010. Adversário, capacidade, infraestrutura, vítima. Exemplo de pivô: de um domínio de comando e controle compartilhado (infraestrutura) para outras vítimas que contatam esse domínio.

EX011. Fatos individualmente inofensivos, combinados, podem identificar, localizar ou traçar o perfil de uma pessoa, possibilitando danos e acionando deveres de proteção de dados, embora cada fato fosse público.

EX012. Citá-lo como literatura cinzenta que descreve a prática, claramente separada da evidência revisada por pares, e evitar apoiar uma afirmação central apenas nele.

EX013. Oferece orientação para estabelecer relações de compartilhamento, definir o escopo e tratar a informação compartilhada; não mede empiricamente quanto o compartilhamento melhora os resultados de segurança.

EX014. Defensores que analisam campanhas inteiras podem interromper uma intrusão ao quebrar qualquer fase isolada da kill chain, transformando a inteligência sobre os adversários em vantagem defensiva.

EX015. Exemplo: "Entre as atribuições a um grupo nomeado no corpus, menos de 70% são apoiadas por uma fonte autorizada independente em até 24 meses."

EX016. Um julgamento está "confirmado" se uma fonte autorizada independente do corpus (alerta conjunto, documento judicial, correção do fornecedor) o apoia em até 24 meses, codificado como apoia/contradiz/sem resolução.

EX017. Se a fonte "confirmadora" apenas repete o relatório original, a concordância é circular e a calibração parece melhor do que é; só as fontes independentes contam.

EX018. Impede que as expectativas dos codificadores — "disseram altamente provável, então provavelmente aconteceu" — vazem para o código de desfecho.

EX019. Seguir a regra pré-registrada: não analisar como se o piso tivesse sido atingido; ampliar a amostra ou revisar o desenho com aprovação da banca, e relatar o déficit.

EX020. Validade externa — se os achados se generalizam para além da população de relatórios amostrada.

EX021. O estudo mede a calibração de um constructo em um corpus definido; afirmar a falta de confiabilidade geral da CTI excede o que os dados podem mostrar.

EX022. Jaccard=0.500 (0,500); apenas em A: 203.0.113.7 e bad.example.

EX023. Os dois feeds podem trazer os mesmos indicadores obsoletos ou fáceis de trocar, da base da pirâmide; a concordância mostra fontes em comum, não qualidade nem relevância para um defensor.

EX024. Brier=0.183 (0,183); prever sempre 0,5 com desfechos equilibrados dá 0,25.

EX025. O observado 0,67 para o declarado 0,9 sugere excesso de confiança no topo, mas, com apenas três itens, é um sinal de piloto, não um resultado.

EX026. (0,9 − 1)² = 0,01.

EX027. Sobreamostrar os julgamentos de alta confiança ("altamente provável" e acima), para que as faixas do topo tenham itens suficientes para estimativas de calibração precisas.

EX028. Quaisquer duas entre: a maioria dos desfechos irresolúvel; tempo de codificação muito acima do orçado; o script divergindo do cálculo manual.

EX029. Concordância observada 0,80, esperada 0,31, kappa 0,710.

EX030. Parte da concordância acontece por acaso, dada a frequência de cada rótulo; o kappa remove essa concordância esperada, para que o valor reflita a consistência real dos codificadores.

EX031. As duas divergências envolvem a infraestrutura, então sua definição é ambígua; acrescentar ao livro de códigos uma regra de esclarecimento e um exemplo (por exemplo, hospedagem compartilhada).

EX032. Os códigos originais dos dois codificadores, o código arbitrado, a justificativa e a versão do livro de códigos usada.

EX033. Não. Por ter escrito o parser, ele compartilha os pressupostos do código e pode deixar passar os mesmos erros; a validação precisa de uma equipe que não o construiu.

EX034. Descrever a mesclagem errada, como foi corrigida e se algum número relatado mudou, e em quanto.

EX035. Quando os resultados são estatísticas agregadas e regras de codificação, e não indicadores ou relações; tabelas, livros de códigos e código servem melhor aos leitores.

EX036. Quaisquer dois entre: independência das fontes de desfecho, seleção do corpus em direção a incidentes dramáticos, mapeamento da escala de confiança depois de ver os desfechos, acompanhamento público seletivo.

EX037. Expressar a incerteza: o rascunho não mostrava como a conclusão dependia do pressuposto de independência, de modo que não se dava a sensibilidade do julgamento principal.

EX038. Aceito com alteração (com a localização), aceito parcialmente (com explicação), recusado (com motivos baseados em evidência).

EX039. No resumo e nos resultados principais, com uma explicação de que pressuposto causou a mudança.

EX040. Exemplo: as afirmações que se revelaram verdadeiras recebem acompanhamento público com mais frequência, de modo que os itens sem resolução são desproporcionalmente falsos, distorcendo a faixa do topo.

EX041. A evidência inconsistente com uma hipótese — a evidência que refuta é a mais diagnóstica.

EX042. "Não podemos nomear as vítimas porque as fontes são restritas por TLP e contêm dados pessoais e organizacionais; em vez disso, fornecemos contagens agregadas por setor."

EX043. Exemplo: "Em 340 julgamentos-chave resolúveis do corpus definido, as expressões estimativas de alta confiança se confirmaram com menos frequência do que a probabilidade mapeada (Brier 0,21 sob o pressuposto conservador)."

EX044. Como um manifesto de identificadores de relatórios e hashes SHA-256, sem conteúdo, para que os detentores legítimos possam verificar a identidade.

EX045. A versão do Python (com apenas a biblioteca padrão, ou dependências fixadas) e as sementes aleatórias usadas na amostragem.

EX046. "Os relatórios de fornecedores são licenciados e não podem ser redistribuídos; pesquisadores que tenham a mesma licença podem solicitar o manifesto de identificadores ao responsável pelos dados do Larkspur."

EX047. Mostra que o código, as amostras sintéticas e as tabelas agregadas reconstroem todas as figuras; não mostra que as entradas restritas foram codificadas corretamente.

EX048. JSON ou CSV com um esquema documentado; o mapeamento é uma tabela metodológica, não um objeto de ameaça, então o STIX acrescenta complexidade sem benefício.

EX049. Não. Distribuir conteúdo restrito, mesmo criptografado, pode violar a licença ou o TLP; publique apenas o manifesto de hashes.

EX050. A afirmação central, a evidência que a sustenta e as ameaças mais fortes à sua validade.

EX051. O periódico testa o método sob revisão por pares; a conferência de profissionais alcança os líderes de SOC que tomam decisões de bloqueio com base na linguagem de confiança.

EX052. Recusar a retirada do achado; aceitar apenas correções factuais e registrar o pedido e a resposta.

EX053. Na prática, TLP:CLEAR; portanto, as entradas restritas só podem aparecer como agregados a partir dos quais nenhuma fonte possa ser reconstruída.

EX054. Pode violar acordos de licença ou de compartilhamento, e as amostras por fornecedor são pequenas demais para um ranking confiável.

EX055. Os analistas atribuem uma probabilidade numérica a cada julgamento-chave ao escrevê-lo, e os desfechos são acompanhados para a frente por 24 meses, para medir a calibração sem codificação retrospectiva.

EX056. A seção completa de limites e validade, para que os primeiros leitores vejam as mesmas ressalvas que os leitores finais.