Capítulo 2 — Operações de segurança e blue team: fronteira da pesquisa | Pesquisa doutoral Operações de segurança e equipe azul

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 02 publicada. Mapa, exemplo, EX008.

flowchart TD
  N0["2.1 O problema da taxa de base"]
  N1["Laboratório — precisão sob diferentes taxas de base"]
  N2["2.2 Ler o resultado"]
  N3["2.3 Fadiga de alertas"]
  N4["2.4 Cautela com aprendizado de máquina"]
  N5["2.5 Fatores humanos e organizacionais"]
  N6["2.6 A posição de Nadia"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX008"]

Desenho lógico

flowchart LR
  N0["2.1 O problema da taxa de base"]
  N1["Laboratório — precisão sob diferentes taxas de base"]
  N2["2.2 Ler o resultado"]
  N3["2.3 Fadiga de alertas"]
  N4["2.4 Cautela com aprendizado de máquina"]
  N5["2.5 Fatores humanos e organizacionais"]
  N6["2.6 A posição de Nadia"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX008"]

[2.1 O problema da taxa de base]
    |
    v
[Laboratório — precisão sob diferentes taxas de base]
    |
    v
[2.2 Ler o resultado]
    |
    v
[2.3 Fadiga de alertas]
    |
    v
[2.4 Cautela com aprendizado de máquina]
    |
    v
[2.5 Fatores humanos e organizacionais]
    |
    v
[2.6 A posição de Nadia]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX008]

Objetivos de aprendizagem

Você vai (1) mapear problemas em aberto na pesquisa sobre operações de segurança; (2) explicar o problema da taxa de base para alertas; (3) relacionar a pesquisa sobre fadiga de alertas ao desenho da triagem; (4) posicionar uma tese na fronteira.

2.1 O problema da taxa de base

Axelsson (2000) mostrou que, como as intrusões genuínas são raras entre os eventos que um detector vê, até uma pequena taxa de falsos positivos produz, em sua maioria, alarmes falsos. A precisão depende da prevalência, e não só do detector. Para o estudo de Nadia, o argumento da taxa de base é a motivação: se as regras disparam principalmente em atividade benigna, a decisão do analista na triagem determina se um SOC é útil. Por isso, o experimento dela mede o que acontece nessa segunda etapa, em que os alertas que a detecção não conseguiu filtrar precisam ser separados por pessoas.

Laboratório — precisão sob diferentes taxas de base

"""Base-rate effect on alert precision (Axelsson 2000), synthetic figures."""
def ppv(tpr, fpr, prevalence):
    tp = tpr * prevalence
    fp = fpr * (1 - prevalence)
    return tp / (tp + fp)
for prev in (1e-2, 1e-3, 1e-4):
    for fpr in (1e-2, 1e-3):
        print(f"prevalence={prev:.0e} TPR=0.95 FPR={fpr:.0e} -> precision={ppv(0.95, fpr, prev):.3f}")

Execute com python3 lab_baserate.py. Saída verificada:

prevalence=1e-02 TPR=0.95 FPR=1e-02 -> precision=0.490
prevalence=1e-02 TPR=0.95 FPR=1e-03 -> precision=0.906
prevalence=1e-03 TPR=0.95 FPR=1e-02 -> precision=0.087
prevalence=1e-03 TPR=0.95 FPR=1e-03 -> precision=0.487
prevalence=1e-04 TPR=0.95 FPR=1e-02 -> precision=0.009
prevalence=1e-04 TPR=0.95 FPR=1e-03 -> precision=0.087

2.2 Ler o resultado

Com taxa de verdadeiros positivos de 95% e taxa de falsos positivos de 1%, a precisão é 0.490 com prevalência de um em cem, 0.087 com um em mil e 0.009 com um em dez mil. Reduzir a taxa de falsos positivos para 0,1% eleva o caso de um em mil apenas a 0.487. A detecção de eventos raros precisa de taxas de falsos positivos muito baixas ou de uma segunda etapa, como a triagem por analistas, para ser útil. Nadia usa o laboratório para calibrar as expectativas sobre o corpus. Como os fluxos reais de alertas são dominados por disparos benignos, o corpus inclui muitos deles de propósito, para que as decisões de triagem sejam testadas nos alertas que os analistas mais veem.

2.3 Fadiga de alertas

Alahmadi, Axon e Martinovic (2022) entrevistaram profissionais de SOC e constataram que muitos alarmes chamados de "falsos positivos" são disparos benignos: a regra casou com um comportamento real que era legítimo naquele contexto. Eles propõem que os alarmes sejam confiáveis, explicáveis, analíticos, contextuais e transferíveis (Reliable, Explainable, Analytical, Contextual, Transferable). Hassan et al. (2019) usaram grafos de proveniência para ordenar alertas e reduzir a fadiga. A constatação sobre disparos benignos é o ponto de partida do projeto de Nadia: se muitos alarmes são correspondências corretas com atividade legítima, os analistas precisam de contexto para reconhecer rapidamente a legitimidade. Os cartões enriquecidos dela testam diretamente a propriedade contextual. Métodos de ordenação como o de Hassan et al. reduzem quantos alertas chegam aos analistas, o que complementa a pergunta dela em vez de concorrer com ela.

2.4 Cautela com aprendizado de máquina

Sommer e Paxson (2010) argumentaram que a detecção de anomalias se ajusta mal a mundos fechados: os ataques são raros, a variedade benigna é enorme e os erros custam caro para explicar. A crítica deles ainda orienta como o trabalho de fronteira deve ser avaliado. O estudo de Nadia evita totalmente a detecção de anomalias; suas regras são condições Sigma explícitas. Mesmo assim, a crítica molda o desenho, porque alerta que um método avaliado em dados convenientes pode falhar em operação. É por isso que ela relata o realismo como limitação e planeja um piloto operacional como o teste capaz de refutar sua afirmação.

2.5 Fatores humanos e organizacionais

Sundaramurthy et al. (2014) inseriram pesquisadores em SOCs e constataram que o conhecimento tácito e o atrito com as ferramentas eram centrais. Kokulu et al. (2019) enfatizaram os desencontros entre as métricas da gestão e a realidade dos analistas. Esses estudos lembram a Nadia que a triagem acontece dentro de uma organização, com hábitos e ferramentas que uma sessão de laboratório elimina. O piloto dela encontrou exatamente esse tipo de atrito: os analistas não viam um campo colocado na parte de baixo do cartão. O comentário posterior de um analista sênior, de que faltava a linha de comando bruta, veio do mesmo tipo de conhecimento tácito.

2.6 A posição de Nadia

A tese de Nadia fica entre a detecção e a triagem: ela testa se acrescentar contexto aos alertas, como sugere a propriedade "contextual", melhora as decisões dos analistas sobre disparos benignos sem esconder ataques verdadeiros. A posição torna a afirmação específica. Ela não testa se o contexto melhora a detecção, nem se encurta os incidentes; testa se os analistas que veem o contexto chegam à disposição correta com mais frequência. Sua preocupação desde o início era a segunda metade da frase: que o contexto também pudesse levar os analistas a descartar um ataque verdadeiro, e é por isso que os danos são medidos junto com a acurácia.

Exemplo resolvido

O mapa da literatura de Nadia tem três colunas — trabalhos no nível do detector, no nível do alerta e no nível do analista — e situa o estudo dela na coluna do nível do alerta, citando Alahmadi et al. como motivação e Axelsson para explicar por que a triagem, e não só a detecção, determina a utilidade.

Caso sintético. Os números vêm do script do laboratório.

Erros e limites

As afirmações de fronteira envelhecem rápido; Nadia data sua revisão e registra os termos de busca para que ela possa ser atualizada.

Exercícios

EX008 — Enunciado da taxa de base. Enuncie numa frase o argumento de Axelsson sobre a taxa de base.
Mostrar critérios de avaliação
Rubrica: 3 = intrusões raras fazem até uma FPR baixa gerar majoritariamente alarmes falsos; 2 = parcial; 1 = vago; 0 = nada.
EX009 — Leitura do laboratório. Dê a precisão com prevalência 1e-3 para FPR 1e-2 e 1e-3.
Mostrar critérios de avaliação
Rubrica: 3 = 0.087 e 0.487; 2 = um; 1 = errado; 0 = nada.
EX010 — Disparos benignos. Em que os disparos benignos diferem dos falsos positivos?
Mostrar critérios de avaliação
Rubrica: 3 = a regra casou com um comportamento real, mas legítimo; 2 = parcial; 1 = são iguais; 0 = nada.
EX011 — Propriedades REACT. Liste as cinco propriedades de alarme propostas por Alahmadi et al.
Mostrar critérios de avaliação
Rubrica: 3 = Reliable, Explainable, Analytical, Contextual, Transferable; 2 = três; 1 = uma; 0 = nada.
EX012 — Crítica do mundo fechado. Resuma a cautela de Sommer e Paxson.
Mostrar critérios de avaliação
Rubrica: 3 = ataques raros, enorme variedade benigna, erros caros de explicar; 2 = dois; 1 = um; 0 = nada.
EX013 — Posição da tese. Onde fica a tese de Nadia, e por quê?
Mostrar critérios de avaliação
Rubrica: 3 = nível do alerta/triagem; testa a propriedade contextual em disparos benignos sem esconder ataques; 2 = parcial; 1 = detector; 0 = nada.
EX014 — Atualizar revisões. Como Nadia mantém sua revisão atualizável?
Mostrar critérios de avaliação
Rubrica: 3 = data a revisão e registra os termos de busca; 2 = um; 1 = vago; 0 = nada.

Síntese

A fronteira é moldada pelas taxas de base, pela qualidade dos alarmes e pelos fatores humanos; uma tese precisa se situar com precisão entre eles.

Continue estudando — capítulo 02 de 08

← Capítulo 01 (rascunho) · Índice de capítulos do curso · Capítulo 03 (rascunho) →