Capítulo 5 — Estudo principal e validação independente | Pesquisa doutoral Segurança ofensiva autorizada e equipe vermelha

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX027.

flowchart TD
  N0["5.1 Seguindo o plano"]
  N1["5.2 Análise"]
  N2["5.3 Validação independente"]
  N3["5.4 Confirmatório vs exploratório"]
  N4["5.4b Resultados negativos"]
  N5["5.4c Análises de sensibilidade"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX027"]

Desenho lógico

flowchart LR
  N0["5.1 Seguindo o plano"]
  N1["5.2 Análise"]
  N2["5.3 Validação independente"]
  N3["5.4 Confirmatório vs exploratório"]
  N4["5.4b Resultados negativos"]
  N5["5.4c Análises de sensibilidade"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX027"]

[5.1 Seguindo o plano]
    |
    v
[5.2 Análise]
    |
    v
[5.3 Validação independente]
    |
    v
[5.4 Confirmatório vs exploratório]
    |
    v
[5.4b Resultados negativos]
    |
    v
[5.4c Análises de sensibilidade]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX027]

Objetivos de aprendizagem

Você vai (1) conduzir o estudo principal conforme o plano pré-registrado; (2) analisar as medidas primária e secundárias com incerteza; (3) encomendar uma validação independente; (4) separar achados confirmatórios de exploratórios; e (5) relatar falhas e limites.

5.1 Seguindo o plano

Aleatorize ou alterne os braços (prosa vs verificador) entre horários de engajamento pareados. Mantenha fixos a topologia, a duração do briefing e as categorias de ferramentas permitidas. Não ajuste o verificador com base nos resultados do estudo principal. Elena intercala horários em prosa e com verificador ao longo do semestre, para que o tempo e a carga do laboratório não favoreçam um braço. As imagens da topologia, os roteiros de briefing e as listas de ferramentas permitidas ficam fixados. É proibido ajustar o verificador a partir dos resultados do estudo principal; qualquer correção de defeito exige uma emenda. Mantenha o plano numa lista de verificação curta, que os operadores veem antes de cada horário.

5.2 Análise

Primária: diferença nas sondagens fora do escopo por hora, com um intervalo de confiança. Secundárias: tempo até a parada; taxa de paradas falsas; pontuações de carga de trabalho dos operadores. Pré-especifique qualquer modelo hierárquico para os efeitos de operador.

"""Lab S: reporting attack-success rates honestly: Wilson intervals,
seed variation and a paired bootstrap. Synthetic trial outcomes only."""
import math, random
def wilson(k, n, z=1.96):
    p = k/n; d = 1 + z*z/n
    c = (p + z*z/(2*n))/d; h = z*math.sqrt(p*(1-p)/n + z*z/(4*n*n))/d
    return c - h, c + h
for k, n in ((3, 20), (30, 200), (300, 2000)):
    lo, hi = wilson(k, n); print(f"successes={k}/{n} rate={k/n:.3f} wilson95=[{lo:.3f}, {hi:.3f}]")
# five seeds of a synthetic defence evaluation: per-seed attack success rate
rates = []
for seed in range(5):
    r = random.Random(seed); rates.append(sum(r.random() < 0.12 for _ in range(200))/200)
m = sum(rates)/5; sd = math.sqrt(sum((x-m)**2 for x in rates)/4)
print("per-seed rates:", " ".join(f"{x:.3f}" for x in rates), f"mean={m:.3f} sd={sd:.3f}")
# paired bootstrap: baseline vs defence on the same 300 synthetic trials
r = random.Random(42)
base = [r.random() < 0.30 for _ in range(300)]
defn = [b and r.random() < 0.6 for b in base]   # defence blocks ~40% of successes
diffs = []
for _ in range(2000):
    idx = [r.randrange(300) for _ in range(300)]
    diffs.append(sum(base[i] for i in idx)/300 - sum(defn[i] for i in idx)/300)
diffs.sort()
print(f"baseline_asr={sum(base)/300:.3f} defended_asr={sum(defn)/300:.3f} "
      f"reduction_ci95=[{diffs[50]:.3f}, {diffs[1949]:.3f}]")

Saída esperada:

successes=3/20 rate=0.150 wilson95=[0.052, 0.360]
successes=30/200 rate=0.150 wilson95=[0.107, 0.206]
successes=300/2000 rate=0.150 wilson95=[0.135, 0.166]
per-seed rates: 0.110 0.130 0.135 0.105 0.145 mean=0.125 sd=0.017
baseline_asr=0.350 defended_asr=0.190 reduction_ci95=[0.120, 0.203]

Os hábitos do Lab S se aplicam: relate contagens e intervalos, não a história de um único valor-p. Amostras pequenas produzem intervalos de Wilson largos, por isso a alegação de Elena se apoia em vinte engajamentos por braço e no intervalo da diferença. As medidas secundárias são relatadas com a mesma disciplina, e rotuladas como secundárias. O laboratório torna o ponto concreto: a mesma taxa de 0,150 gera um intervalo de Wilson de 0,052 a 0,360 com 3/20, mas de 0,135 a 0,166 com 300/2000.

5.3 Validação independente

Peça a pesquisadores que não construíram o verificador que refaçam a pontuação dos eventos fora do escopo a partir dos logs brutos, ou que repitam um subconjunto dos engajamentos. A independência flagra a avaliação otimista. Os validadores de Elena são dois pesquisadores que não construíram o verificador. Eles repontuam os rótulos de fora do escopo a partir de logs com dados ocultados, sem saber o braço, e relatam a porcentagem de concordância. As discordâncias são arbitradas e contadas. Uma concordância abaixo de um limiar predefinido aciona a arbitragem do conjunto inteiro, não só das discordâncias. Os validadores registram cada discordância com a linha de log e os dois rótulos, para que o árbitro veja evidências, e não duas opiniões concorrentes.

5.4 Confirmatório vs exploratório

Resultados confirmatórios respondem à pergunta pré-registrada. Análises exploratórias (por exemplo, quais motivos de negação predominam) são rotuladas como tais e não resgatam uma hipótese primária que falhou. A alegação confirmatória de Elena é a diferença nas sondagens fora do escopo por hora. O fato de port-not-in-scope ter predominado nas negações é exploratório: útil para os operadores, não um resgate caso a primária tivesse falhado. Mantenha essa linha nítida em cada tabela e legenda de figura, para que um leitor não confunda um gráfico exploratório com o resultado primário. No capítulo de resultados dela, a distribuição dos motivos de negação fica numa seção exploratória separada, posicionada depois da tabela da taxa primária.

5.4b Resultados negativos

Um resultado primário não significativo ainda é uma contribuição se o estudo teve poder estatístico e foi executado conforme o planejado. Publique as taxas, os intervalos e os limites. Resultados negativos evitam que outros laboratórios repitam o mesmo beco sem saída e mantêm a literatura honesta. Elena escreve o parágrafo de resultado negativo no modelo de sua tese antes do estudo principal, para estar pronta a publicar em qualquer cenário. Um resultado nulo com poder estatístico ainda diz a outros laboratórios que este verificador, nestas condições, não alterou a taxa. Declare as taxas, os intervalos e os limites mesmo quando H1 não for sustentada.

5.4c Análises de sensibilidade

Planeje com antecedência uma ou duas verificações de sensibilidade: excluir o operador de maior volume; recalcular com uma definição mais estrita de fora do escopo. Se a conclusão qualitativa mudar, discuta por quê. Sensibilidade não é a busca por um valor-p significativo. Elena planeja duas: excluir o operador de maior volume e recalcular com uma definição mais estrita de fora do escopo, que trata qualquer contato com um host da lista de negação como fora do escopo, mesmo que o operador tenha parado de imediato. Ambas são nomeadas no pré-registro. Se alguma delas mudar a conclusão qualitativa, discuta por quê nas limitações, em vez de procurar um valor-p significativo.

5.5 Exemplo resolvido (caso sintético do NHUSTL)

Estudo principal (20+20 engajamentos): prosa 0,17 por hora (intervalo 0,12–0,23); verificador 0,03 por hora (0,01–0,07); diferença de cerca de 0,14 por hora. Os validadores independentes concordaram em 98% dos rótulos de fora do escopo. Exploratório: a maioria das negações foi port-not-in-scope. Modo de falha: num engajamento, uma renumeração da rede do laboratório invalidou os CIDRs no meio da execução — ele foi excluído pela regra pré-registrada e relatado nos limites. O resultado primário sustenta H1 nas condições declaradas. A concordância independente de 98% mostra que os rótulos não foram uma avaliação otimista de Elena sozinha. O engajamento excluído é nomeado na tabela de resultados e nas limitações, com a regra que justificou a exclusão.

5.6 Erros e limites

Três erros são comuns: espiar os dados e parar cedo quando os resultados parecem bons; validadores que são coautores da ferramenta; e esconder exclusões. Cada erro enviesa o resultado. Espiar e parar cedo quando os resultados parecem bons infla os achados falsos. Validadores coautores da ferramenta compartilham o incentivo de encontrar um efeito. Esconder exclusões permite ao pesquisador moldar os dados sem que os leitores saibam. Verifique os três pontos no plano de análise e de validação. O plano de análise de Elena, escrito antes da coleta, trata dos três. Ele fixa vinte engajamentos por braço, nomeia validadores de fora da equipe do verificador e lista cada engajamento excluído com seu motivo.

Exercícios

EX027 — Desenho. Como você vai manter os braços comparáveis? Rubrica: 3 = topologia, briefing, ferramentas, horários; 2 = três; 1 = um; 0 = nenhum.
EX028 — Resultado primário. Relate o resultado primário de Elena numa frase. Rubrica: 3 = taxas, intervalos, condições; 2 = só as taxas; 1 = "funcionou"; 0 = nenhum.
EX029 — Independência. Projete um protocolo de validação. Rubrica: 3 = quem, o quê, cegamento, métrica de concordância; 2 = três; 1 = um; 0 = nenhum.
EX030 — Exclusão. Excluir o engajamento renumerado foi correto? Rubrica: 3 = condiz com o pré-registro, relatado; 2 = parcial; 1 = escondê-lo; 0 = nenhum.
EX031 — Exploratório. Rotule corretamente um achado exploratório. Rubrica: 3 = rotulado, não usado como primário; 2 = parcial; 1 = apresentado como confirmatório; 0 = nenhum.
EX032 — Estatística. Que fato sobre intervalos, vindo do laboratório, sustenta alegações cautelosas com n pequeno? Rubrica: 3 = intervalos largos com n pequeno; 2 = parcial; 1 = vago; 0 = errado.

Síntese

O estudo principal segue o plano, quantifica a incerteza, busca olhares independentes e traça uma linha nítida entre alegações confirmatórias e exploratórias.

Continue estudando — capítulo 05 de 08

← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →