Capítulo 4 — Segurança ofensiva autorizada e red team: explicações concorrentes | Mestrado Segurança ofensiva autorizada e equipe vermelha

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 04 publicada. Mapa, exemplo, EX021.

flowchart TD
  N0["4.1 Explicações rivais"]
  N1["4.2 Desenhar discriminadores"]
  N2["4.3 Taxas de base nas filas"]
  N3["4.4 Pontuações vazias"]
  N4["4.5 Alegações que você vai recusar"]
  N5["4.5b Pré-mortem"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX021"]

Desenho lógico

flowchart LR
  N0["4.1 Explicações rivais"]
  N1["4.2 Desenhar discriminadores"]
  N2["4.3 Taxas de base nas filas"]
  N3["4.4 Pontuações vazias"]
  N4["4.5 Alegações que você vai recusar"]
  N5["4.5b Pré-mortem"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX021"]

[4.1 Explicações rivais]
    |
    v
[4.2 Desenhar discriminadores]
    |
    v
[4.3 Taxas de base nas filas]
    |
    v
[4.4 Pontuações vazias]
    |
    v
[4.5 Alegações que você vai recusar]
    |
    v
[4.5b Pré-mortem]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX021]

Objetivos de aprendizagem

Você vai (1) listar explicações alternativas para uma diferença na taxa de remediação; (2) desenhar verificações que as separem; (3) usar taxas de base ao interpretar alertas de tickets; (4) evitar pontuações de segurança vazias; e (5) pré-especificar quais explicações você consegue testar.

4.1 Explicações rivais

Se os achados marcados forem remediados mais depressa, as rivais incluem: as marcações deixam os tickets mais claros; as marcações se correlacionam com severidade mais alta por construção; os responsáveis pela remediação tratam os tickets da pesquisa de outro modo (efeito Hawthorne); as marcações ATT&CK foram aplicadas só quando o redator foi mais cuidadoso de modo geral. Cada rival prevê algo diferente, e é isso que as torna testáveis. Se as marcações simplesmente deixam os tickets mais claros, o ganho deve aparecer em todas as severidades. Se a severidade gera a diferença, equilibrar a severidade deve eliminá-la. Se os responsáveis pela remediação reagem ao fato de serem estudados, os dois braços devem melhorar juntos. Se redatores cuidadosos marcam mais, a auditoria das marcações e as verificações de qualidade da redação devem mostrar isso.

4.2 Desenhar discriminadores

Equilibre a severidade e a classe do ativo entre os braços com aleatorização estratificada. Mantenha os responsáveis pela remediação cegos à hipótese da pesquisa. Audite uma amostra de marcações quanto à correção em relação às definições do ATT&CK. Meça o tempo até a primeira resposta, além da conclusão em 30 dias. Cada verificação mira uma rival. A estratificação responde ao desequilíbrio de severidade; o cegamento responde ao efeito Hawthorne; a auditoria das marcações responde às marcações ruins; e o tempo até a primeira resposta mostra se os tickets marcados também são assumidos mais cedo, e não só concluídos mais cedo. Noah escreve essas verificações no pré-registro, para que a análise não possa escolhê-las depois da chegada dos dados.

4.3 Taxas de base nas filas

As filas de segurança estão cheias de problemas verdadeiros de baixa prevalência. Uma marca de urgência ruidosa cria, na maior parte, falsa urgência. A mesma aritmética que rege a precisão da detecção em baixa prevalência rege as políticas de escalonamento de tickets. O laboratório de taxa de base torna isso concreto. Com taxa de verdadeiros positivos de 95% e taxa de falsos positivos de 5%, uma marca aplicada onde 1% dos tickets é de fato urgente tem precisão de cerca de 0,161, então a maioria dos tickets marcados não é urgente. Os responsáveis pela remediação que percebem isso deixam de confiar na marca, o que pode atrasar o trabalho que ela deveria acelerar.

4.4 Pontuações vazias

Albrecht e Jensen (arXiv:2010.06377) argumentam que o rav do OSSTMM não é uma grandeza válida de segurança operacional. Sua dissertação não deve inventar uma nova pontuação única; compare resultados concretos de remediação sob condições declaradas. Para Noah, o resultado concreto é a conclusão em até 30 dias, relatada por braço com um intervalo. Os leitores podem conferi-la na exportação de tickets. Uma pontuação composta combinaria coisas que não podem ser conferidas separadamente, e os examinadores perguntariam o que significa a mudança de um ponto. As tabelas de Noah relatam resultados com suas contagens.

4.5 Alegações que você vai recusar

Você não vai alegar que remediação mais rápida significa menos violações nem que cobertura do ATT&CK equivale a segurança. Diga o que os dados dos tickets conseguem sustentar — e pare aí.

"""Lab B: base rates and alarm precision (Bayes' rule).
An urgent flag with given true- and false-positive rates is applied
to ticket queues with different shares of truly urgent issues."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
    for prev in (0.10, 0.01, 0.001):
        tp = tpr * prev; fp = fpr * (1 - prev)
        prec = tp / (tp + fp)
        per_10k = round(10000 * (tp + fp))
        print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")

Saída esperada:

tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18

Escreva as alegações recusadas no capítulo de limitações, com palavras simples. Para Noah, elas incluem a redução de violações, a cobertura da matriz como segurança e qualquer alegação sobre programas corporativos em produção, como o CBEST ou o TIBER-EU. Nomeá-las cedo impede que o capítulo de discussão, ou um gestor que o leia, ultrapasse a evidência. Mantenha a lista curta e específica.

4.5b Pré-mortem

Antes do estudo principal, escreva um pré-mortem: "O estudo falhou porque…", listando desequilíbrio de severidade, erros de marcação, cegueira à interface, rotatividade da equipe e expiração da autorização. Atribua um detector e uma mitigação a cada linha. Os pré-mortems flagram problemas a baixo custo. O detector de Noah para erros de marcação é a auditoria das marcações; a mitigação é a revisão por uma segunda pessoa. Para a expiração da autorização, ele anota a data de término e pede a renovação um mês antes. Escreva o pré-mortem como uma tabela curta e revise-o com o orientador antes do travamento do instrumento. O desequilíbrio de severidade é detectado conferindo o equilíbrio dos braços depois da aleatorização; a rotatividade da equipe, acompanhando quais responsáveis pela remediação saem durante a coleta.

4.6 Exemplo resolvido (caso sintético da CBM)

Noah pré-especifica as rivais: desequilíbrio de severidade, qualidade das marcações, efeitos Hawthorne. O laboratório de taxa de base mostra que, com 1% de prevalência e 5% de falsos positivos, a precisão é de cerca de 0,161 — um alerta contra rótulos de urgência indiscriminados. Ele vai relatar a concordância da auditoria das marcações ao lado do resultado primário. Pré-especificar as rivais significa que Noah não pode acrescentá-las nem descartá-las quando os resultados chegarem. O número de precisão sustenta a decisão dele de não acrescentar marcas de urgência aos tickets da pesquisa, já que a maioria seria falsa nessa prevalência. Relatar a concordância da auditoria das marcações ao lado do resultado primário permite aos leitores julgar quanto do efeito depende de marcações corretas.

4.7 Erros e limites

Três erros são comuns: alegar redução de violações; ignorar a qualidade das marcações; e pontuações compostas únicas de melhoria da segurança. Cada erro exagera o que o estudo mostra. Os dados de tickets não conseguem medir violações, então uma alegação de redução de violações vai além da evidência. Ignorar a qualidade das marcações esconde erro de medição na própria intervenção. Uma pontuação composta única de melhoria combina coisas que não podem ser conferidas separadamente, o erro que Albrecht e Jensen descrevem. Verifique os três pontos no capítulo de discussão antes da submissão. O pré-registro e o capítulo de limitações de Noah tratam de cada um deles por escrito.

Exercícios

EX021 — Rivais — Liste quatro explicações rivais. Rubrica: 3 = quatro pertinentes; 2 = três; 1 = uma; 0 = nenhuma.
EX022 — Equilíbrio — Como você vai equilibrar a severidade entre os braços? Rubrica: 3 = estratificação ou aleatorização restrita; 2 = parcial; 1 = ignorar; 0 = nenhuma.
EX023 — Taxa de base — Usando o laboratório, explique o risco da marca de urgência com 1% de prevalência / 5% de FPR. Rubrica: 3 = precisão ~0,16, carga de alertas; 2 = números; 1 = vaga; 0 = errada.
EX024 — OSSTMM — Por que evitar uma pontuação do tipo rav nesta dissertação? Rubrica: 3 = crítica de validade, preferência por resultados concretos; 2 = parcial; 1 = vaga; 0 = nenhuma.
EX025 — Cegamento — Como os responsáveis pela remediação podem ser mantidos cegos? Rubrica: 3 = ocultar a hipótese/o propósito do formato; 2 = parcial; 1 = dispensar o cegamento; 0 = nenhuma.
EX026 — Limites da alegação — Escreva uma alegação que você não vai fazer. Rubrica: 3 = exagero sobre violações/risco recusado com motivo; 2 = parcial; 1 = ainda exagera; 0 = nenhuma.

Síntese

Explicações concorrentes mantêm você honesto: desenhe verificações para as rivais e recuse alegações que seus dados não conseguem sustentar.

Continue estudando — capítulo 04 de 08

← Capítulo 03 (rascunho) · Índice de capítulos do curso · Capítulo 05 (rascunho) →