Capítulo 3 — Proposta de contribuição original

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 O que conta como original"]
  N1["3.2 Trabalho de sustentação"]
  N2["Laboratório — reprodução de condições de detecção"]
  N3["3.3 Ler o resultado"]
  N4["3.4 Novidade"]
  N5["3.5 Viabilidade"]
  N6["3.6 Riscos"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 O que conta como original"]
  N1["3.2 Trabalho de sustentação"]
  N2["Laboratório — reprodução de condições de detecção"]
  N3["3.3 Ler o resultado"]
  N4["3.4 Novidade"]
  N5["3.5 Viabilidade"]
  N6["3.6 Riscos"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX015"]

[3.1 O que conta como original]
    |
    v
[3.2 Trabalho de sustentação]
    |
    v
[Laboratório — reprodução de condições de detecção]
    |
    v
[3.3 Ler o resultado]
    |
    v
[3.4 Novidade]
    |
    v
[3.5 Viabilidade]
    |
    v
[3.6 Riscos]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) enunciar com precisão uma contribuição original; (2) separar a contribuição do trabalho que a sustenta; (3) avaliar condições de detecção contra eventos sintéticos rotulados; (4) defender a novidade e a viabilidade da proposta.

3.1 O que conta como original

Uma contribuição original acrescenta conhecimento que outros podem usar e testar: um método validado, um efeito medido, um conjunto de dados reutilizável. Nadia propõe três itens: um corpus sintético rotulado de alertas com disparos benignos; um experimento controlado sobre enriquecimento com contexto; e uma análise de onde o enriquecimento falha. Cada item pode ser verificado separadamente por outros. O corpus pode ser reutilizado em experimentos diferentes; o efeito medido pode ser contestado com a repetição do estudo; e a análise de falhas dá aos projetistas casos concretos. A declaração de contribuição de Nadia nomeia os três itens para que os examinadores julguem cada um diante de sua evidência.

3.2 Trabalho de sustentação

As regras de detecção precisam ser boas o bastante para que a triagem, e não a detecção, seja o gargalo do experimento. Nadia avalia as regras candidatas em eventos sintéticos rotulados antes de montar os cartões de alerta. As regras são escritas no formato Sigma, do SigmaHQ, para que outros possam lê-las de forma neutra em relação a fornecedores. A avaliação das regras é trabalho de sustentação, não uma contribuição em si. Seu propósito é garantir que os alertas do experimento venham de regras plausíveis, incluindo uma que dispara em atividade benigna, para que as decisões de triagem sejam testadas em material realista.

Laboratório — reprodução de condições de detecção

"""Replay a Sigma-style detection condition over synthetic labelled events."""
events = [  # (process, parent, cmdline_has_encoded, label)
    ("powershell.exe", "winword.exe", True, "attack"),
    ("powershell.exe", "explorer.exe", False, "benign"),
    ("powershell.exe", "sccm_agent.exe", True, "benign"),
    ("powershell.exe", "excel.exe", True, "attack"),
    ("cmd.exe", "winword.exe", False, "attack"),
    ("powershell.exe", "explorer.exe", True, "benign"),
    ("powershell.exe", "outlook.exe", True, "attack"),
    ("powershell.exe", "sccm_agent.exe", True, "benign"),
]
office = {"winword.exe", "excel.exe", "outlook.exe"}
def v1(p, par, enc): return p == "powershell.exe" and enc
def v2(p, par, enc): return p in {"powershell.exe", "cmd.exe"} and par in office
for name, rule in (("v1 encoded-only", v1), ("v2 office-parent", v2)):
    tp = sum(rule(p, q, e) and l == "attack" for p, q, e, l in events)
    fp = sum(rule(p, q, e) and l == "benign" for p, q, e, l in events)
    fn = sum((not rule(p, q, e)) and l == "attack" for p, q, e, l in events)
    print(f"{name:17} TP={tp} FP={fp} FN={fn} precision={tp/(tp+fp):.2f} recall={tp/(tp+fn):.2f}")

Execute com python3 lab_replay.py. Saída verificada:

v1 encoded-only   TP=3 FP=3 FN=1 precision=0.50 recall=0.75
v2 office-parent  TP=4 FP=0 FN=0 precision=1.00 recall=1.00

3.3 Ler o resultado

A condição v1 (linha de comando do PowerShell codificada) pega 3 de 4 ataques, mas também dispara em 3 eventos benignos — o agente de distribuição de software e um administrador —, com precisão de 0.50. A condição v2 (interpretador de scripts cujo processo pai é um aplicativo do Office) pega os 4 ataques sem nenhum alarme falso neste pequeno conjunto. Os disparos benignos de v1 são justamente o tipo de alerta que o contexto deveria ajudar os analistas a descartar, então Nadia mantém os alertas de v1 no corpus como material de triagem. Os dois resultados vêm de um pequeno conjunto rotulado, por isso Nadia não afirma que v2 seja uma regra melhor em geral; ela apenas verifica que cada regra se comporta como pretendido em eventos conhecidos. Os alertas do administrador e do agente de distribuição lhe dão disparos benignos cujo contexto, como o papel do usuário ou um histórico de fechamentos como benigno, é exatamente o que os cartões enriquecidos exibem.

3.4 Novidade

A revisão dela mostra que trabalhos anteriores mediram as percepções dos analistas (Alahmadi et al., 2022) e a ordenação automatizada (Hassan et al., 2019), mas há poucos experimentos controlados sobre contexto em cartões de alerta com verdade de referência conhecida. A lacuna é estreita, mas real: os profissionais relatam que o contexto ajuda, e os sistemas de ordenação reduzem o volume, mas poucos estudos medem se mostrar o contexto muda as decisões dos analistas sobre alertas de verdade conhecida. O mapa da literatura de Nadia sustenta essa afirmação, e ela guarda o registro da busca para que os examinadores possam conferi-lo. A busca abrangeu veículos de segurança e de fatores humanos, porque estudos sobre decisões de analistas costumam ser publicados fora das conferências de segurança.

3.5 Viabilidade

Oito analistas do fictício Northgate Shared SOC, que atende vários municípios, concordam em participar no horário de trabalho, com a aprovação da gerente Ruth Okonkwo; o corpus é sintético; o estudo cabe em dois semestres. Realizar as sessões no horário de trabalho, com a aprovação da gerente, evita pedir aos analistas que abram mão do próprio tempo, mas também significa que incidentes urgentes podem interromper uma sessão. O protocolo permite pausar e retomar uma sessão, com a pausa registrada. Dois semestres comportam o piloto, o estudo principal e a análise com alguma folga.

3.6 Riscos

O recrutamento pode ficar aquém do previsto; os analistas podem reconhecer padrões sintéticos. Mitigações: um grupo de reserva de um segundo SOC; revisão de realismo por dois analistas seniores. Reconhecer padrões sintéticos poderia inflar a acurácia nas duas condições, o que estreitaria qualquer diferença. A revisão de realismo verifica o corpus antes do estudo principal; o grupo de reserva do segundo SOC só é contatado se os voluntários da Northgate ficarem abaixo de oito. As duas mitigações constam da proposta com seus responsáveis. Nadia revisa a lista de riscos com o Prof. Grant todo mês até o fim do estudo principal.

Exemplo resolvido

Declaração de contribuição de Nadia: "C1: um corpus sintético de alertas sob licença aberta, com 320 alertas, rótulos e anotações de disparos benignos. C2: um experimento cruzado que estima o efeito do enriquecimento com contexto sobre a acurácia e o tempo de triagem. C3: uma análise de falhas dos alertas em que o enriquecimento induziu os analistas ao erro."

Caso sintético. Os eventos e as regras vêm do script do laboratório; a Northgate é inventada.

Erros e limites

Oito eventos não validam uma regra; o laboratório mostra o método, não a qualidade da regra.

Exercícios

• EX015 — Lista de contribuições. Enuncie as três contribuições de Nadia.
  Mostrar critérios de avaliação

  Rubrica: 3 = corpus, experimento cruzado, análise de falhas; 2 = duas; 1 = uma; 0 = nada.
• EX016 — Por que testar as regras primeiro. Por que a detecção precisa ser avaliada antes do experimento de triagem?
  Mostrar critérios de avaliação

  Rubrica: 3 = a triagem precisa ser o gargalo estudado; 2 = parcial; 1 = sem motivo; 0 = nada.
• EX017 — Resultado da reprodução. Dê a precisão e o recall de v1 e v2.
  Mostrar critérios de avaliação

  Rubrica: 3 = v1 0.50/0.75, v2 1.00/1.00; 2 = uma regra; 1 = errado; 0 = nada.
• EX018 — Manter os alertas de v1. Por que manter no corpus os disparos benignos de v1?
  Mostrar critérios de avaliação

  Rubrica: 3 = são material de triagem realista que o contexto deveria ajudar a descartar; 2 = parcial; 1 = engano; 0 = nada.
• EX019 — Lacuna de novidade. Que lacuna estabelece a novidade?
  Mostrar critérios de avaliação

  Rubrica: 3 = poucos experimentos controlados sobre contexto em alertas com verdade de referência; 2 = parcial; 1 = vago; 0 = nada.
• EX020 — Amostra pequena. O que a reprodução com oito eventos não mostra?
  Mostrar critérios de avaliação

  Rubrica: 3 = a validade da regra; ela só ilustra o método; 2 = parcial; 1 = prova a regra; 0 = nada.

Síntese

Enuncie as contribuições com precisão, adeque o trabalho de sustentação ao seu propósito e mostre novidade e viabilidade com evidências.

Continue estudando — capítulo 03 de 08

← Capítulo 02 (rascunho) · Índice de capítulos do curso · Capítulo 04 (rascunho) →