Capítulo 42 — Segurança ofensiva autorizada e red team: pesquisa aplicada

Mapa da aula

Aula 42 publicada. Mapa, exemplo, EX124.

flowchart TD
  N0["42.1 Perguntas que cabem"]
  N1["42.2 Desenho"]
  N2["42.3 Divulgação"]
  N3["42.2b Pré-registro"]
  N4["42.3b Publicabilidade de resultados negativos"]
  N5["42.1b Acordos de compartilhamento de dados"]
  N6["Nota de prática"]
  N7["42.4b Revisão ética para pesquisa sobre a plataforma"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX124"]

Desenho lógico

flowchart LR
  N0["42.1 Perguntas que cabem"]
  N1["42.2 Desenho"]
  N2["42.3 Divulgação"]
  N3["42.2b Pré-registro"]
  N4["42.3b Publicabilidade de resultados negativos"]
  N5["42.1b Acordos de compartilhamento de dados"]
  N6["Nota de prática"]
  N7["42.4b Revisão ética para pesquisa sobre a plataforma"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX124"]

[42.1 Perguntas que cabem]
    |
    v
[42.2 Desenho]
    |
    v
[42.3 Divulgação]
    |
    v
[42.2b Pré-registro]
    |
    v
[42.3b Publicabilidade de resultados negativos]
    |
    v
[42.1b Acordos de compartilhamento de dados]
    |
    v
[Nota de prática]
    |
    v
[42.4b Revisão ética para pesquisa sobre a plataforma]
    |
    v
[Exemplo resolvido] --> [Exercício EX124]

Objetivos de aprendizagem

Você vai (1) formular uma pergunta de pesquisa sobre plataformas de avaliação; (2) escolher medidas e linhas de base; (3) manter o uso dual fora da pesquisa dos estudantes.

42.1 Perguntas que cabem

"A aprovação dupla reduz incidentes de ampliação de escopo?" "Mostrar os denominadores muda a interpretação da cobertura pelas partes interessadas?" Não "novo bypass contra o produto X". Perguntas sobre aprovação dupla e apresentação de denominadores melhoram a plataforma; perguntas sobre bypasses contra o produto de um fornecedor não pertencem a esta graduação. Sam devolve propostas que precisam de exploração ao vivo e pede uma pergunta de medição no lugar. As duas perguntas de exemplo do enunciado são o modelo do que avança. Perguntas de medição ainda podem ser ambiciosas; só ficam dentro da autorização.

42.2 Desenho

Pré-registre as medidas; use dados sintéticos ou operacionais consentidos; reporte intervalos. Replicação vale mais que teatro de novidade. Pré-registro e intervalos são o que mantém o trabalho aplicado distinguível de narrativa de dashboard. Dados sintéticos ou consentidos mantêm a ética intacta. Sam registra as medidas no repositório antes de abrir qualquer CSV de resultados, e o carimbo de tempo do commit faz parte do apêndice da tese. Abrir o CSV primeiro é tratado como defeito de processo na avaliação do ateliê. O commit de pré-registro é referenciado no capítulo de métodos da tese, para que os examinadores vejam a data.

42.3 Divulgação

Se a pesquisa encontrar por acidente um problema real, siga a divulgação responsável — não um blog da turma. Um blog da turma não é um canal de divulgação. Problemas reais encontrados ao estudar taxas de reabertura seguem o caminho responsável do anfitrião e ficam fora do trabalho do curso até serem liberados. O estudo de taxa de reabertura de Sam usou apenas tickets sintéticos e anonimizados; qualquer coisa que parecesse um caminho real de credencial foi escalada para Ingrid, não descrita para a turma.

Caso sintético — Riverstone Transit. O estudo aplicado de Sam comparou as taxas de reabertura de tickets antes/depois de exigir evidência de novo teste; pré-registrado, sintético+anonimizado.

42.4 Erros e limites

Projetos de curso não são trabalho com seres humanos blindado por comitê de ética; evite coletar dados pessoais. Coletar identificadores de passageiros ou funcionários para uma tese "mais rica" está fora dos limites, mesmo com boas intenções. Fique com agregados sintéticos e acordados. O parágrafo de ética de Sam declara esse limite explicitamente, para que os examinadores não precisem adivinhar. Agregados capazes de reidentificar um único funcionário são recusados da mesma forma que dumps brutos. Trabalho de curso que precisaria de consentimento no estilo de comitê de ética é redesenhado até não precisar mais. O parágrafo de ética de Sam nomeia esse dever de redesenho explicitamente.

42.2b Pré-registro

Escreva a hipótese, a medida primária e as regras de exclusão antes de olhar os dados de resultado. Registre-os no repositório. Mudar a medida depois de ver os resultados é como pontuações vazias voltam pela porta da pesquisa. Registrar hipótese, medida e exclusões primeiro torna essa jogada visível como um desvio. O estudo de aprovação dupla de Sam manteve a taxa de reabertura como primária mesmo quando uma métrica secundária parecia mais lisonjeira. Desvios exigem uma nota datada no apêndice, não uma edição discreta no notebook. O commit do registro é datado antes de qualquer dado de resultado ser extraído, o que os revisores podem conferir no histórico.

42.3b Publicabilidade de resultados negativos

Pesquisa aplicada publicável inclui resultados negativos ("a aprovação dupla não mudou as taxas de reabertura nesta amostra"). Esconder os negativos enviesa os desenhos da próxima turma rumo a uma confiança vazia. Um resultado negativo sobre aprovação dupla ainda ensina à próxima turma a não supor que o controle funciona sem evidência. O relato de Sam abre com o negativo e discute o tamanho da amostra antes de sugerir uma continuação. Turmas que só veem relatos positivos continuam lançando controles não medidos. Os enunciados do ateliê agora incluem um exemplo de resultado negativo tirado do relato de Sam. Resultados negativos são relatados com os mesmos intervalos que os positivos.

42.1b Acordos de compartilhamento de dados

Mesmo métricas operacionais sintéticas mais anonimizadas precisam de um acordo escrito com o anfitrião para teses de estudantes. "Meu mentor disse que tudo bem" não é um acordo de compartilhamento. A bênção verbal de um mentor não satisfaz regras de residência nem de tese. Um acordo escrito nomeia o que pode sair do anfitrião e em que forma. O anfitrião do estágio de Sam assinou um acordo de métricas de uma página antes que qualquer contagem anonimizada entrasse num rascunho de tese. Sem essa página, o capítulo de resultados da tese fica vazio em vez de informal.

Nota de prática

O código de análise pré-registrado fica no repositório com um commit de congelamento antes da coleta de dados. Emendar o analisador depois de espiar os resultados exige uma emenda registrada com motivo. Isso é leve comparado com ensaios clínicos e ainda bloqueia a forma mais comum de p-hacking acidental em estudos de graduação.

Declare a fronteira do uso dual na seção de ética da tese com um exemplo concreto de recusa.

Resultados negativos recebem a mesma qualidade de figura que os positivos no modelo de tese.

42.4b Revisão ética para pesquisa sobre a plataforma

Um estudo que compara a cobertura de detecção entre engajamentos usa dados de clientes, mesmo que resumidos. A proposta de Sam passa pela revisão ética e jurídica da organização, usa apenas contagens agregadas e anonimizadas e tem o consentimento escrito de cada cliente antes que qualquer resultado seja compartilhado fora da equipe. Contagens agregadas de cobertura continuam sendo dados de clientes até que o consentimento e a revisão digam o contrário. A proposta de Sam listou cada cliente, a regra de agregação e a proibição de linhas por host fora da equipe. O compartilhamento fora da equipe esperou o consentimento escrito de todos os clientes da amostra.

Exercícios

• EX124 — Pergunta. Escreva uma pergunta de pesquisa aceitável. Rubrica: 3 = focada em plataforma/processo; 2 = limítrofe; 1 = focada em exploit; 0 = nada.
• EX125 — Medida. Nomeie a medida primária do estudo de aprovação dupla. Rubrica: 3 = p. ex., tentativas de ampliação não autorizadas/mês; 2 = vago; 1 = "segurança"; 0 = nada.
• EX126 — Uso dual. Recuse um projeto que pede um novo exploit. Rubrica: 3 = recusa + alternativa permitida; 2 = recusa; 1 = aceita; 0 = nada.

Síntese

Pesquise a plataforma e o processo; deixe a transformação em arma de lado.

Continue estudando — capítulo 42 de 50

← Capítulo 41 (rascunho) · Índice de capítulos do curso · Capítulo 43 (rascunho) →