OpenCyber Academy
Mestrado · Capítulo 5 · Português
Código do curso: OCA-176Capítulo 05: OCA-176-C005

Capítulo 5 — Proposta e piloto

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX027.

flowchart TD
  N0["5.1 A proposta"]
  N1["5.2 Por que rotular uma amostra"]
  N2["Laboratório — amostra estratificada"]
  N3["5.3 Ler o resultado"]
  N4["5.4 O piloto"]
  N5["5.5 Problemas de logística encontrados"]
  N6["5.6 Aprovação da proposta"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX027"]

Desenho lógico

flowchart LR
  N0["5.1 A proposta"]
  N1["5.2 Por que rotular uma amostra"]
  N2["Laboratório — amostra estratificada"]
  N3["5.3 Ler o resultado"]
  N4["5.4 O piloto"]
  N5["5.5 Problemas de logística encontrados"]
  N6["5.6 Aprovação da proposta"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX027"]

[5.1 A proposta]
    |
    v
[5.2 Por que rotular uma amostra]
    |
    v
[Laboratório — amostra estratificada]
    |
    v
[5.3 Ler o resultado]
    |
    v
[5.4 O piloto]
    |
    v
[5.5 Problemas de logística encontrados]
    |
    v
[5.6 Aprovação da proposta]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX027]

Objetivos de aprendizagem

Você vai (1) escrever uma proposta de dissertação; (2) planejar com eficiência uma amostra para rotulagem; (3) pilotar a coleta de dados e a rotulagem; (4) ajustar o plano a partir do piloto.

5.1 A proposta

Seções: contexto e lacuna; pergunta e hipóteses; desenho; dados e ética; análise; ameaças à validade; cronograma; riscos. A Dra. Solberg pede no máximo uma página por seção. O limite de páginas obriga cada parte a se comprometer. A página do desenho nomeia as vinte regras e os critérios de pareamento; a página da análise nomeia a diferença em diferenças e o bootstrap; a página de riscos nomeia o que interromperia o estudo, como a indisponibilidade do purple team. A Dra. Solberg consegue ler a proposta inteira de uma vez e ver cada decisão.

5.2 Por que rotular uma amostra

O volume, sozinho, não mostra se os alertas suprimidos eram benignos. Tariq vai rotular manualmente uma amostra de alertas como disparo benigno, falso positivo ou verdadeiro positivo, para estimar quanto da redução removeu apenas ruído benigno. Rotular todos os 4.000 alertas é impossível; uma amostra estratificada por severidade dá estimativas precisas onde importa. Os três rótulos respondem a perguntas diferentes. Um disparo benigno é ruído que o SOC pode remover com segurança; um falso positivo aponta para uma regra que precisa ser corrigida; um verdadeiro positivo removido por uma lista de permissão é um ataque suprimido. Estratificar por severidade garante que os alertas de alta severidade, em que um ataque suprimido mais importaria, não sejam representados por um punhado de casos.

Laboratório — amostra estratificada

"""Stratified sample of synthetic alerts for manual labelling."""
import random
random.seed(7)
population = {"high": 120, "medium": 900, "low": 2980}
budget = 200
total = sum(population.values())
alloc = {k: max(20, round(budget * v / total)) for k, v in population.items()}
over = sum(alloc.values()) - budget
alloc["low"] -= over
for k, v in population.items():
    ids = random.sample(range(v), alloc[k])
    print(f"{k:6} population={v:5} sampled={alloc[k]:3} first ids={sorted(ids)[:3]}")
print("total sampled", sum(alloc.values()))

Execute com python3 lab_strata.py. Saída verificada:

high   population=  120 sampled= 20 first ids=[4, 6, 7]
medium population=  900 sampled= 45 first ids=[47, 50, 60]
low    population= 2980 sampled=135 first ids=[16, 49, 92]
total sampled 200

5.3 Ler o resultado

Com um orçamento de 200, a alocação proporcional daria ao estrato de alta severidade apenas 6 alertas, poucos demais para estimar qualquer coisa. Fixa-se um mínimo de 20, o que dá alta 20, média 45, baixa 135. Uma semente fixa (7) torna o sorteio reprodutível; as estimativas para a população inteira são reponderadas pelo tamanho de cada estrato. Elevar o estrato alto para 20 tira alertas do estrato baixo, que cai de 149 para 135 para manter o total em 200. É a troca certa: os alertas de baixa severidade são numerosos e parecidos, então 135 ainda estimam bem sua composição, enquanto 6 alertas de alta severidade teriam tornado sem sentido qualquer afirmação sobre esse estrato.

5.4 O piloto

Tariq e um colega do SOC rotulam 30 alertas de forma independente. Eles discordam em 6, principalmente entre "disparo benigno" e "falso positivo". As definições são afiadas: um disparo benigno é o comportamento pretendido ocorrendo de forma legítima; um falso positivo é a regra casando com um comportamento que ela não deveria pegar. Seis discordâncias em 30 alertas são uma taxa de discordância de 20%, alta demais para a rotulagem principal. Afiar as definições antes da amostra principal, e não depois, significa que a rotulagem dos 200 alertas usa um critério estável. O piloto também mostra onde as definições eram vagas, o que entra nas limitações como possível fonte de viés compartilhado.

5.5 Problemas de logística encontrados

Exportar os alertas com campos pseudonimizados levava duas horas à mão; Tariq automatiza a tarefa com um script. O sistema de chamados do SOC trunca as notas; ele usa a exportação do SIEM em seu lugar. As duas correções importam para o estudo principal. Uma exportação manual de duas horas toda semana convidaria a atalhos ou erros ao longo de oito semanas; um script roda sempre da mesma forma e pode ser arquivado. Notas truncadas nos chamados teriam perdido os motivos dos analistas para fechar alertas, de que os rotuladores precisam para decidir entre disparo benigno e falso positivo.

5.6 Aprovação da proposta

Solberg e o líder do SOC, Marcus Bell, assinam a proposta; o CISO assina o anexo do purple team. Três assinaturas refletem três tipos de autoridade: Solberg pelo desenho acadêmico, Bell pelos dados e pelo tempo da equipe do SOC, e o CISO pelos testes autorizados nos sistemas da Pelham. O anexo do purple team define o escopo, incluindo a exclusão das redes de tecnologia operacional, para que o líder do exercício possa recusar qualquer coisa fora dele. O anexo do CISO é o documento que o líder do exercício carrega durante as injeções, para que o escopo possa ser conferido no dia sem precisar ligar para ninguém.

Exemplo resolvido

Cronograma da proposta: "Semanas 1–4: linha de base e rotulagem da amostra da linha de base; semana 5: listas de permissão implantadas após revisão por pares; semanas 5–8: acompanhamento; semana 9: resumo do purple team; semanas 10–14: análise e redação."

Caso sintético. Os números da amostra vêm do script do laboratório.

Erros e limites

Tamanhos mínimos de estrato melhoram as estimativas de estratos pequenos, mas exigem reponderação; esquecê-la enviesa os totais.

Exercícios

Síntese

Uma proposta fixa o plano; um piloto testa definições e logística; a amostragem torna a rotulagem manual viável e reprodutível.

Continue estudando — capítulo 05 de 08

← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →

Respostas comentadas

EX027. Contexto e lacuna, pergunta e hipóteses, desenho, dados e ética, análise e ameaças à validade (e também cronograma e riscos).

EX028. Uma queda no volume não diz nada sobre se os alertas removidos eram inofensivos, e rotular todos os alertas não é viável.

EX029. Alta 20, média 45, baixa 135; a alocação proporcional daria aos alertas de alta severidade apenas 6, poucos demais para uma estimativa.

EX030. A amostra super-representa o estrato alto, então os resultados de cada estrato são ponderados pelo tamanho de sua população para evitar viés.

EX031. Um disparo benigno é o comportamento pretendido acontecendo de forma legítima; um falso positivo é a regra pegando um comportamento que nunca deveria casar.

EX032. A Dra. Solberg e Marcus Bell assinaram a proposta; o CISO assinou o anexo do purple team.