Capítulo 4 — Operações de segurança e blue team: explicações concorrentes
Mapa da aula
Aula 04 publicada. Mapa, exemplo, EX021.
flowchart TD
N0["4.1 A observação"]
N1["4.2 Grupo de comparação"]
N2["Laboratório — diferença em diferenças"]
N3["4.3 Ler o resultado"]
N4["4.4 Testar alternativas específicas"]
N5["4.5 Tendências paralelas"]
N6["4.6 Incerteza restante"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX021"]
Desenho lógico
flowchart LR
N0["4.1 A observação"]
N1["4.2 Grupo de comparação"]
N2["Laboratório — diferença em diferenças"]
N3["4.3 Ler o resultado"]
N4["4.4 Testar alternativas específicas"]
N5["4.5 Tendências paralelas"]
N6["4.6 Incerteza restante"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX021"]
[4.1 A observação]
|
v
[4.2 Grupo de comparação]
|
v
[Laboratório — diferença em diferenças]
|
v
[4.3 Ler o resultado]
|
v
[4.4 Testar alternativas específicas]
|
v
[4.5 Tendências paralelas]
|
v
[4.6 Incerteza restante]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX021]
Objetivos de aprendizagem
Você vai (1) listar explicações concorrentes para uma mudança observada; (2) usar um grupo de comparação para eliminar efeitos compartilhados; (3) testar alternativas específicas com dados; (4) indicar o que continua incerto.
4.1 A observação
Depois que as listas de permissão foram acrescentadas na semana 5, os alertas das dez regras ajustadas caíram fortemente. Conclusão tentadora: o ajuste funcionou. Mas outras coisas aconteceram nas semanas 5–8: um feriado, uma atualização do SIEM e a migração de uma fonte de logs de firewall. Cada um dos três eventos ameaça a conclusão de um jeito. Um feriado reduz a atividade, e portanto os alertas, de forma geral. Uma atualização do SIEM poderia mudar a forma como as regras disparam. A migração de uma fonte de logs poderia cortar a entrada de uma regra. Qualquer um deles, acontecendo na semana 5, poderia produzir uma queda forte nas regras ajustadas sem que as listas de permissão fizessem nada.
4.2 Grupo de comparação
Se a queda se devesse ao feriado ou à atualização do SIEM, as regras não ajustadas também deveriam cair. A diferença em diferenças subtrai a mudança do grupo de controle da mudança do grupo ajustado. As regras de controle são o motivo pelo qual Tariq consegue separar esses efeitos. Sem elas, uma queda nas regras ajustadas numa semana de feriado seria impossível de interpretar. Com elas, o feriado e a atualização do SIEM aparecem nos dois grupos, e só a parte da queda exclusiva das regras ajustadas é atribuída ao ajuste.
Laboratório — diferença em diferenças
"""Difference-in-differences on synthetic weekly alert counts.
Tuned group: rules given allow-lists in week 5. Control group: untuned rules."""
tuned = [410, 395, 402, 420, 230, 241, 225, 236]
control = [300, 290, 305, 310, 262, 270, 258, 266]
def mean(x): return sum(x) / len(x)
t_pre, t_post = mean(tuned[:4]), mean(tuned[4:])
c_pre, c_post = mean(control[:4]), mean(control[4:])
print(f"tuned pre={t_pre:.1f} post={t_post:.1f} change={t_post-t_pre:.1f}")
print(f"control pre={c_pre:.1f} post={c_post:.1f} change={c_post-c_pre:.1f}")
print(f"difference-in-differences = {(t_post-t_pre)-(c_post-c_pre):.1f} alerts/week")
Execute com python3 lab_did.py. Saída verificada:
tuned pre=406.8 post=233.0 change=-173.8
control pre=301.2 post=264.0 change=-37.2
difference-in-differences = -136.5 alerts/week
4.3 Ler o resultado
As regras ajustadas caíram de 406.8 para 233.0 alertas por semana (−173.8). As regras de controle também caíram, de 301.2 para 264.0 (−37.2), o que mostra um efeito compartilhado. A estimativa líquida atribuível ao ajuste é de −136.5 alertas por semana. As mudanças impressas são arredondadas para uma casa decimal; calculadas a partir das médias não arredondadas dos grupos, a mudança das ajustadas é −173.75 e a do controle, −37.25, e é por isso que a estimativa líquida é −136.5, e não −136.6. Tariq relata a estimativa líquida, não a queda bruta, como o efeito do ajuste. A nota sobre o arredondamento importa porque um examinador que conferisse a aritmética à mão poderia suspeitar de um erro.
4.4 Testar alternativas específicas
Interrupção de fonte de logs: as contagens de ingestão por fonte não mostram lacunas nas semanas 5–8. Migração do firewall: nenhuma das regras ajustadas usa logs de firewall. Ajuste por colegas: o registro de mudanças não mostra outras edições nas vinte regras. Feriado: afeta os dois grupos; absorvido pela comparação. Cada alternativa foi verificada com sua própria evidência, em vez de descartada no argumento: as contagens de ingestão para a interrupção, as definições das regras para a migração do firewall e o registro de mudanças para o ajuste por colegas. Só o feriado precisou do grupo de comparação, porque afetou os dois.
4.5 Tendências paralelas
A diferença em diferenças supõe que os dois grupos teriam se movido da mesma forma sem o ajuste. Nas semanas 1–4, suas tendências são semelhantes (ambas aproximadamente estáveis), o que sustenta, mas não prova, essa suposição. As quatro semanas de linha de base mostram os dois grupos aproximadamente estáveis: as regras ajustadas entre 395 e 420 alertas por semana, as de controle entre 290 e 310. Se as regras ajustadas já estivessem caindo, parte da queda depois da semana 5 seria a continuação de uma tendência. Um comportamento semelhante no período anterior é a melhor evidência disponível de que elas teriam continuado estáveis juntas.
4.6 Incerteza restante
Oito semanas é pouco; o intervalo da estimativa é largo porque as contagens semanais variam. Tariq relata na dissertação a estimativa pontual com um intervalo bootstrap. O intervalo bootstrap relatado na dissertação vai de 98 a 171 alertas por semana. É largo, mas exclui o zero e os efeitos pequenos, então a conclusão de que o ajuste reduziu o volume se mantém mesmo no limite inferior. A largura diz à Pelham que não prometa uma economia precisa aos analistas. Mais semanas depois do ajuste o estreitariam, porque as contagens semanais variam até cerca de 25 alertas de uma semana para outra, e oito semanas dão apenas quatro valores pós-ajuste por grupo.
Exemplo resolvido
Tabela de alternativas de Tariq: cada explicação, a evidência que a sustentaria, a verificação feita e o resultado. Só a explicação do ajuste sobrevive a todas as verificações; o feriado explica a queda do grupo de controle.
Caso sintético. As contagens vêm do script do laboratório.
Erros e limites
Os grupos de comparação eliminam apenas os efeitos compartilhados; algo que afetasse só as regras ajustadas ainda enviesaria a estimativa.
Exercícios
- EX021 — Lista de alternativas. Cite três explicações concorrentes para a queda. Rubrica: 3 = feriado, atualização do SIEM, migração do firewall (ou interrupção/ajuste por colegas); 2 = duas; 1 = uma; 0 = nada.
- EX022 — Lógica da DiD. Explique a diferença em diferenças numa frase. Rubrica: 3 = subtrair a mudança do controle da mudança do tratado para eliminar efeitos compartilhados; 2 = parcial; 1 = vago; 0 = nada.
- EX023 — Estimativa do laboratório. Dê as mudanças dos dois grupos e a estimativa líquida. Rubrica: 3 = −173.8, −37.2, −136.5; 2 = duas; 1 = uma; 0 = nada.
- EX024 — Verificações específicas. Como a migração do firewall foi descartada? Rubrica: 3 = as regras ajustadas não usam logs de firewall; 2 = parcial; 1 = suposto; 0 = nada.
- EX025 — Tendências paralelas. Que suposição o método exige, e o que a sustenta? Rubrica: 3 = tendências paralelas; período anterior semelhante e estável; 2 = só a suposição; 1 = vago; 0 = nada.
- EX026 — Viés residual. O que ainda poderia enviesar a estimativa? Rubrica: 3 = algo que afete só as regras ajustadas; 2 = parcial; 1 = vago; 0 = nada.
Síntese
Antes de dar crédito a uma intervenção, liste as rivais, subtraia os efeitos compartilhados e teste as demais uma a uma.
Continue estudando — capítulo 04 de 08
← Capítulo 03 (rascunho) · Índice de capítulos do curso · Capítulo 05 (rascunho) →