◇ OpenCyber Academy
Tecnólogo · Capítulo 23 · Português

Capítulo 23 — Segurança ofensiva autorizada e red team: avaliação

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 23 — Segurança ofensiva autorizada e red team: avaliação

Mapa da aula

Aula 23 publicada. Mapa, exemplo, EX067.

flowchart TD
  N0["23.1 Critérios antes do encerramento"]
  N1["23.2 Qualidade do processo ≠ contagem de troféus"]
  N2["23.3 Lições aprendidas"]
  N3["23.4 Métricas de vaidade"]
  N4["23.5 Compartilhar os resultados sem vergonha"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX067"]

Desenho lógico

flowchart LR
  N0["23.1 Critérios antes do encerramento"]
  N1["23.2 Qualidade do processo ≠ contagem de troféus"]
  N2["23.3 Lições aprendidas"]
  N3["23.4 Métricas de vaidade"]
  N4["23.5 Compartilhar os resultados sem vergonha"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX067"]

[23.1 Critérios antes do encerramento]
    |
    v
[23.2 Qualidade do processo ≠ contagem de troféus]
    |
    v
[23.3 Lições aprendidas]
    |
    v
[23.4 Métricas de vaidade]
    |
    v
[23.5 Compartilhar os resultados sem vergonha]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX067]

Objetivos de aprendizagem

Você vai (1) definir os critérios de avaliação antes de um engajamento terminar; (2) pontuar a qualidade do processo separadamente da contagem de achados; (3) conduzir uma revisão de lições aprendidas que produza itens de backlog; (4) recusar métricas de vaidade.

23.1 Critérios antes do encerramento

A avaliação responde: ficamos no escopo, atendemos à decisão de que o CISO precisava, os defensores aprenderam, a correção começou? Escreva esses critérios nas ROE ou nas notas da abertura, para que o seu eu do futuro não invente critérios mais brandos depois de uma semana bagunçada. No ENG-712, as quatro perguntas foram escritas nas notas da abertura como itens de sim ou não: ficou no escopo, apoiou a decisão do CISO sobre cobertura, deu aos defensores algo a aprender, iniciou a correção. Priya as preenche antes de o CISO ler a folha, e a contagem de achados aparece apenas como linha de apoio, para que um apêndice longo não possa substituir um critério não cumprido.

23.2 Qualidade do processo ≠ contagem de troféus

Um engajamento que não encontra nada, mas demonstra controles sólidos, evidências limpas e uma repetição purple útil, pode ser um sucesso. Um engajamento que encontra dezenas de problemas ignorando as exclusões é um fracasso com um apêndice longo. Pontue a disciplina explicitamente. A rubrica de estúdio de Priya põe isso na primeira página, porque os estudantes tendem a se medir pelo tamanho da tabela de achados. No ENG-712, um engajamento discreto, com controles limpos e uma repetição purple útil, ainda teria cumprido os quatro critérios. Uma equipe que produzisse muitos achados atravessando uma linha de STOP seria reprovada no critério de escopo, e nenhuma contagem de achados conserta isso.

23.3 Lições aprendidas

Em até duas semanas, as equipes red, blue e branca se reúnem. Cada falha da matriz de cobertura vira um chamado. Cada falha de processo vira uma mudança de procedimento. Registre o que parar, o que começar e o que continuar. O DET-19, da história da cobertura, é o modelo de chamado de falha: nomeia a técnica do ATT&CK não coberta, a célula da matriz de onde veio e o responsável pela detecção. As falhas de processo são escritas como edições de um procedimento, como a verificação de sincronização de relógio antes da abertura que o ENG-712 acrescentou. Fazer a reunião em até duas semanas importa porque as pessoas ainda lembram por que uma escolha foi feita.

23.4 Métricas de vaidade

"Hosts varridos", "pacotes enviados" e "críticos encontrados", sem contexto, incentivam o comportamento errado. Prefira "técnicas exercitadas", "percentual com alerta", "achados aceitos no controle dentro do SLA" e "retestes encerrados". Num slide gerencial, Priya substitui uma linha como hosts varridos pelo número de técnicas exercitadas e pela parcela que gerou alerta. O segundo par responde à pergunta que o CISO fez sobre a cobertura do SOC; o primeiro só mede o quanto os testadores estiveram ocupados. Ela remove as linhas de vaidade na mesma passada de revisão que tira do relatório as frases de garantia proibidas.

23.5 Compartilhar os resultados sem vergonha

Publique a folha de avaliação para as pessoas que viveram o exercício. Esconder do SOC uma pontuação baixa de processo enquanto se celebra uma contagem alta de achados ensina a lição errada. A regra da TRT é que a mesma folha que o CISO assina é a folha que a equipe lê na retrospectiva. No ENG-712, o SOC viu a folha completa, incluindo a falha de processo da sincronização de relógio, na mesma retrospectiva em que os dois itens de backlog de detecção foram discutidos. Saber de uma pontuação fraca de processo por um resumo semanas depois teria soado como culpa. Vê-la ao lado dos achados a transformou num problema compartilhado, com responsável e data.

Exemplo resolvido

A folha de avaliação da TRT para o ENG-712: aderência ao escopo de 100% (nenhuma violação de STOP); decisão apoiada (números de cobertura do SOC entregues); dois itens de backlog de detecção abertos; uma mudança de processo (verificação de sincronização de relógio antes da abertura). A contagem de achados é registrada, mas não é usada como pontuação principal. O CISO assina a folha.

Caso sintético. A folha de avaliação é inventada.

Erros e limites

Culpar indivíduos na reunião de lições aprendidas destrói a confiança no trabalho purple. Mantenha a ata centrada em sistemas e procedimentos.

Exercícios

Síntese

Declare os critérios cedo, pontue a disciplina, converta as lições em chamados e ignore os contadores de vaidade.

Continue estudando — capítulo 23 de 30

← Capítulo 22 (rascunho) · Índice de capítulos do curso · Capítulo 24 (rascunho) →