Capítulo 3 — Desenho do estudo, ética e reprodutibilidade
Mapa da aula
Aula 03 publicada. Mapa, exemplo, EX015.
flowchart TD
N0["3.1 Escolha do desenho"]
N1["3.2 Verdade de referência para ataques"]
N2["3.3 Ética"]
N3["3.4 Reprodutibilidade"]
N4["3.5 Ameaças à validade"]
N5["3.6 Registro"]
N6["Regra de parada"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX015"]
Desenho lógico
flowchart LR
N0["3.1 Escolha do desenho"]
N1["3.2 Verdade de referência para ataques"]
N2["3.3 Ética"]
N3["3.4 Reprodutibilidade"]
N4["3.5 Ameaças à validade"]
N5["3.6 Registro"]
N6["Regra de parada"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX015"]
[3.1 Escolha do desenho]
|
v
[3.2 Verdade de referência para ataques]
|
v
[3.3 Ética]
|
v
[3.4 Reprodutibilidade]
|
v
[3.5 Ameaças à validade]
|
v
[3.6 Registro]
|
v
[Regra de parada]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX015]
Objetivos de aprendizagem
Você vai (1) escolher um desenho adequado a uma intervenção operacional; (2) planejar a ética e a proteção de dados; (3) tornar o estudo reprodutível; (4) definir a verdade de referência para "ataque suprimido".
3.1 Escolha do desenho
Sortear quais regras serão ajustadas é possível, mas o SOC quer as regras mais ruidosas corrigidas primeiro. Tariq usa um desenho antes-depois controlado: dez regras ajustadas e dez regras comparáveis não ajustadas, quatro semanas antes e quatro depois. Comparar as mudanças nos dois grupos elimina os efeitos comuns a todas as regras. Parear as regras de controle por volume e por tática do ATT&CK torna a comparação mais justa: uma regra não ajustada que vigia uma tática tranquila se comportaria de modo diferente de uma ruidosa. Quatro semanas antes e quatro depois dão a cada grupo sua própria linha de base, de modo que a análise compara quanto cada grupo mudou, e não seus níveis brutos.
3.2 Verdade de referência para ataques
Ataques reais são raros e desconhecidos de antemão. Com a aprovação do CISO, os exercícios autorizados de purple team da empresa de saneamento injetam, durante o estudo, comportamentos simulados benignos que correspondem à lógica das regras, registrados com os horários exatos. Um "ataque suprimido" é um evento injetado que casou com uma regra, mas foi removido por uma lista de permissão. Oito eventos injetados no total é um número pequeno, o que Tariq declara como limite. Os horários exatos são o que os torna utilizáveis: cada evento pode ser associado à regra que deveria acionar e verificado quanto a ter sido removido por uma lista de permissão. Como o líder do exercício registra os horários de forma independente do SIEM, um evento suprimido não pode passar despercebido só porque não existe alerta.
3.3 Ética
Os alertas contêm nomes de usuários. Os dados de Tariq são pseudonimizados antes de sair do SOC; só o SOC vê os nomes reais. A aprovação ética cobre as entrevistas com analistas. O escopo do purple team é assinado pelo CISO e exclui totalmente as redes de tecnologia operacional. Excluir as redes de tecnologia operacional importa numa empresa de saneamento: comportamentos simulados em sistemas de controle poderiam afetar o tratamento ou o bombeamento, e nenhum benefício do estudo justificaria isso. A pseudonimização na origem significa que, mesmo que a exportação se perdesse, ela não mostraria qual analista ou funcionário acionou qual alerta.
3.4 Reprodutibilidade
As entradas das listas de permissão ficam sob controle de versão com seus motivos; os scripts de análise e as contagens são arquivados; o conjunto de regras é guardado em formato Sigma, com as diferenças do ajuste. O controle de versão é o que depois torna rastreável o estreitamento da entrada AL-07: o registro de mudanças mostra o par original de host e conta, a condição estreitada e a data. As diferenças do ajuste em formato Sigma permitem que outro SOC veja exatamente o que mudou em cada regra sem acesso ao SIEM da Pelham. Arquivar as contagens semanais por regra permite que qualquer pessoa refaça o laboratório de diferença em diferenças com os números reais do estudo, e não só com os sintéticos.
3.5 Ameaças à validade
Mudança sazonal, interrupções de fontes de log, outros ajustes feitos por colegas e a consciência dos analistas sobre o estudo. Cada uma tem uma verificação planejada. Cada verificação é concreta. A mudança sazonal é absorvida pelo grupo de controle. As interrupções de fontes de log são verificadas contra as contagens de ingestão por fonte. Os outros ajustes são verificados no registro de mudanças das regras. A consciência dos analistas é mais difícil: eles sabiam que o estudo estava em andamento, o que poderia mudar como tratavam os alertas, então Tariq a lista como limitação em vez de afirmar tê-la eliminado.
3.6 Registro
O desenho, os desfechos e as verificações são registrados com a orientadora antes da semana 1. Registrar antes da semana 1 significa que os desfechos, o grupo de comparação e a regra de parada para um ataque suprimido foram fixados antes de chegar qualquer dado. Quando um evento injetado foi suprimido na semana 6, a regra registrada ditou o que aconteceu em seguida, uma revisão em até um dia, em vez de deixar Tariq decidir sob pressão se pausaria o estudo. O registro também lista, por regra, os oito comportamentos de purple team planejados, para que ninguém pudesse acrescentar depois comportamentos mais fáceis para melhorar o resultado de segurança.
Regra de parada
Se qualquer evento injetado for suprimido, a entrada da lista de permissão responsável é revisada em até um dia; o estudo continua, mas a constatação é registrada e a entrada pode ser estreitada.
Exemplo resolvido
Tabela de desenho de Tariq: "Grupos: T (10 ajustadas) e C (10 não ajustadas, pareadas por volume e tática do ATT&CK). Semanas 1–4 linha de base, 5–8 com ajuste. Primário: alertas semanais por grupo. Segurança: eventos injetados de purple team por regra (8 no total) e quantos foram suprimidos. Dados: pseudonimizados na origem."
Caso sintético. O desenho é inventado.
Erros e limites
Eventos injetados testam apenas os comportamentos que foram injetados; atacantes reais podem ser diferentes.
Exercícios
- EX015 — Seleção do desenho. Por que um desenho antes-depois controlado em vez de sorteio? Rubrica: 3 = o SOC quer as regras mais ruidosas ajustadas; o grupo de comparação elimina efeitos comuns; 2 = parcial; 1 = mais fácil; 0 = nada.
- EX016 — Verdade de referência. Como "ataque suprimido" é definido e medido? Rubrica: 3 = eventos injetados autorizados que casam com uma regra e são removidos pela lista de permissão; horários registrados; 2 = parcial; 1 = ataques reais; 0 = nada.
- EX017 — Limites do purple team. Que limites se aplicaram ao escopo do purple team? Rubrica: 3 = assinado pelo CISO; exclui redes de TO; simulações benignas; 2 = dois; 1 = um; 0 = nada.
- EX018 — Pseudonimização. Onde acontece a pseudonimização, e por que ali? Rubrica: 3 = na origem, no SOC; os nomes nunca saem; 2 = parcial; 1 = depois; 0 = nada.
- EX019 — Ameaças à validade. Liste três ameaças à validade. Rubrica: 3 = mudança sazonal, interrupções, outros ajustes, consciência (três); 2 = duas; 1 = uma; 0 = nada.
- EX020 — Pareamento. Por quais critérios as regras de controle foram pareadas? Rubrica: 3 = volume e tática do ATT&CK; 2 = um; 1 = ao acaso; 0 = nada.
Síntese
Estudos operacionais precisam de grupos de comparação, verdade de referência definida, dados protegidos e ameaças à validade registradas.
Continue estudando — capítulo 03 de 08
← Capítulo 02 (rascunho) · Índice de capítulos do curso · Capítulo 04 (rascunho) →