Capítulo 18 — Métodos de pesquisa I
Mapa da aula
Aula 18 publicada. Mapa, exemplo, EX052.
flowchart TD
N0["18.1 Perguntas"]
N1["18.2 Desenho"]
N2["18.3 Pré-registro"]
N3["18.4 Ética"]
N4["18.5 Resultados negativos"]
N5["18.7 Relatar um resultado negativo"]
N6["18.8 Um quadro interno de ensaios"]
N7["18.9 Preferir intervalos a uma falsa significância"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX052"]
Desenho lógico
flowchart LR
N0["18.1 Perguntas"]
N1["18.2 Desenho"]
N2["18.3 Pré-registro"]
N3["18.4 Ética"]
N4["18.5 Resultados negativos"]
N5["18.7 Relatar um resultado negativo"]
N6["18.8 Um quadro interno de ensaios"]
N7["18.9 Preferir intervalos a uma falsa significância"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX052"]
[18.1 Perguntas]
|
v
[18.2 Desenho]
|
v
[18.3 Pré-registro]
|
v
[18.4 Ética]
|
v
[18.5 Resultados negativos]
|
v
[18.7 Relatar um resultado negativo]
|
v
[18.8 Um quadro interno de ensaios]
|
v
[18.9 Preferir intervalos a uma falsa significância]
|
v
[Exemplo resolvido] --> [Exercício EX052]
Objetivos de aprendizagem
Você vai (1) formular perguntas respondíveis; (2) desenhar pequenos ensaios de purple team; (3) pré-registrar métricas.
18.1 Perguntas
"O controle X aumenta a detecção da T1566 em staging?" é melhor que "a segurança é boa?". Uma pergunta de pesquisa precisa nomear o que será medido, em que condições e contra qual comparação. Perguntar se a segurança é boa convida opiniões que não podem estar erradas e não podem guiar uma decisão. Perguntar se um novo filtro de e-mail aumenta a detecção da técnica de phishing T1566 no ambiente de staging, comparado com o filtro atual, nomeia o controle, a técnica, o lugar e a linha de base. Essa pergunta decide o desenho: um conjunto fixo de amostras de phishing, uma caixa de staging sob cada filtro e uma detecção ou falha registrada para cada amostra. Perguntas vagas produzem trabalho vago.
18.2 Desenho
Conjunto de teste fixo, ambiente registrado, plano de tamanho de amostra. Três escolhas decidem se um leitor posterior pode confiar no resultado. O conjunto de teste é escrito antes de qualquer ensaio rodar, para que ninguém possa descartar as amostras que fazem um controle parecer ruim. O ambiente é registrado: qual versão do filtro, qual configuração da caixa de correio, qual data. Sem esse registro, uma mudança posterior pode tornar o resultado irreproduzível. O tamanho da amostra é planejado para a precisão de que a decisão precisa, usando os mesmos métodos de intervalo do relato de detecção. Um desenho que pula qualquer um desses pontos ainda pode produzir um número, mas esse número não vai encerrar uma discussão.
18.3 Pré-registro
Escreva a métrica e o limiar antes de ver os resultados. As pessoas ajustam naturalmente o que conta como sucesso depois de ver os dados. Uma taxa de detecção de sessenta por cento pode ser chamada de sucesso ou de fracasso, dependendo do que a equipe esperava. O pré-registro escreve a métrica e o limiar numa nota datada antes do primeiro ensaio, por exemplo que o novo filtro tem sucesso se o limite inferior do seu intervalo de Wilson superar a taxa observada do filtro atual. Mudar o limiar depois é permitido, mas isso precisa ser rotulado como exploratório. A nota datada é o que impede que uma reinterpretação esperançosa seja apresentada como o plano original.
18.4 Ética
Dados de clientes estão fora de alcance; phishing sintético para funcionários precisa de aprovação do RH e do CISO. Pesquisas que usam mensagens ou contas reais de clientes estão fora dos métodos deste livro e dos contratos de teste do TRB. Phishing sintético enviado a funcionários reais também não é um teste técnico comum. Ele envolve pessoas que podem se sentir enganadas e pode afetar a confiança nas mensagens de segurança. Qualquer ensaio desse tipo precisa, portanto, de aprovação do RH e do CISO que declare a finalidade, a população, as mensagens, a possibilidade de recusa quando viável e como os resultados serão relatados sem nomear indivíduos. Curiosidade técnica não é aprovação.
18.5 Resultados negativos
Publique internamente; eles evitam ideias fracassadas repetidas. Um ensaio que mostra que um controle não fez diferença mensurável é tão útil quanto um que mostra que fez, porque impede a próxima equipe de gastar mais um trimestre na mesma ideia. Resultados negativos também calibram as expectativas. Se três campanhas de conscientização falharam, cada uma, em mover as taxas de clique nos exercícios de staging, a próxima proposta de uma quarta campanha enfrenta uma barra mais alta. Publicação interna significa um relato curto no quadro de ensaios, com a métrica pré-registrada, o resultado e uma frase sobre o que não tentar de novo. Esconder resultados negativos faz a organização reaprender a mesma lição.
18.6 Limites
Staging ≠ produção; declare as ameaças à validade. O staging é mais silencioso, mais limpo e monitorado de forma diferente da produção. Uma taxa de detecção medida ali pode ser mais alta porque o tráfego é mais leve, ou mais baixa porque a produção tem sensores extras. Ameaças à validade são os motivos pelos quais um resultado pode não se transferir: a amostra era pequena demais, o kit de phishing estava desatualizado, o filtro estava mal configurado, o SOC foi avisado de que um ensaio estava rodando. Nomeá-las não enfraquece o relatório. Isso diz a quem decide o quanto pode se apoiar no achado. Um resultado sem limites declarados é aquele de que se deve desconfiar.
18.7 Relatar um resultado negativo
Os resultados negativos usam o mesmo modelo que os positivos. A nota de Sam "a fadiga de prompts de MFA não melhorou a detecção da T1566 com n=40" impediu um segundo ensaio idêntico no trimestre seguinte. O modelo obriga aos mesmos campos: pergunta, desenho, limiar pré-registrado, resultado, limites. Usar um formato diferente e apologético para resultados negativos os faz parecer falhas da equipe, e não achados sobre um controle. O ensaio de fadiga mostrou que acrescentar mais prompts de MFA não aumentou a detecção do conjunto de phishing, o que redirecionou a proposta seguinte para autenticadores resistentes a phishing. Sem o relato, a mesma ideia da fadiga teria voltado com um novo patrocinador.
18.8 Um quadro interno de ensaios
Um quadro público (interno) mostra os ensaios pré-registrados e seu status. Ensaios duplicados são rejeitados num relance. O quadro lista a pergunta, o dono, o tamanho de amostra planejado e se o ensaio está planejado, em andamento ou relatado. Quem propõe um novo ensaio pesquisa nele primeiro. Duplicatas são comuns quando as equipes trabalham em paralelo e cada uma acredita que sua ideia é original. Rejeitar uma duplicata cedo poupa uma turma de funcionários ou um bloco de tempo de staging e, muitas vezes, leva o proponente a se juntar ao ensaio existente. O quadro é chato de propósito. Sua tarefa é tornar a repetição visível.
18.9 Preferir intervalos a uma falsa significância
Sam evita declarar significância sem um plano. A maioria dos ensaios de purple team no TRB é descritiva, com intervalos, e não pseudoensaios clínicos. Um p-valor calculado depois do fato a partir de uma pequena amostra de conveniência não significa o que as pessoas pensam. Ele pode parecer decisivo quando a incerteza real é grande. O padrão do TRB é, portanto, relatar contagens e intervalos de Wilson e reservar as afirmações formais de significância para os raros ensaios desenhados para elas, com um plano de tamanho de amostra. O relato descritivo não é uma forma menor de evidência. Ele é honesto sobre o que um exercício de purple team de quarenta ensaios consegue sustentar.
18.10 Um ensaio de conscientização fracassado ainda merece um relato
Um ensaio pré-registrado sobre e-mails de conscientização não atinge seu limiar. Sam o relata mesmo assim. A reunião de orçamento do trimestre seguinte cita o resultado negativo para evitar comprar de novo o mesmo pacote de conteúdo. O fornecedor do pacote de conteúdo tinha estudos de caso promissores de outros setores. O ensaio do TRB, com um conjunto fixo de phishing e um limiar de detecção pré-registrado, não atingiu esse limiar. Relatá-lo evitou tanto um enterro silencioso quanto uma discussão acalorada baseada em anedotas. As reuniões de orçamento preferem um resultado datado à sensação de que o treinamento "pareceu útil". O fornecedor foi convidado a propor um pacote diferente para um novo ensaio, em vez de revender o mesmo.
18.11 Juntar-se a um ensaio existente em vez de duplicá-lo
O quadro de registro rejeitou em um minuto o título de um ensaio duplicado. O autor se juntou ao ensaio existente como colaborador, em vez de desperdiçar uma turma. A duplicata tinha uma redação ligeiramente diferente, mas o mesmo controle, a mesma técnica e a mesma população de staging. Rodar os dois teria dividido os voluntários disponíveis e deixado cada ensaio com poder estatístico insuficiente. Entrar como colaborador significou que o segundo autor contribuiu com amostras e tempo de revisão, ganhou a coautoria do relato e ainda respondeu à sua pergunta de fundo. O valor do quadro não é rejeitar por rejeitar. É redirecionar o esforço para um resultado capaz de decidir alguma coisa.
18.12 Celebrar resultados negativos
Os resultados negativos ganham um ícone de rolha de champanhe no quadro — celebração do aprendizado, não do fracasso. A cultura decide se as pessoas registram resultados negativos ou os escondem. Uma pequena recompensa visível, mesmo um ícone bobo, sinaliza que a organização quer o aprendizado. O ícone só aparece quando o relato está completo, de modo que não pode ser ganho deixando de terminar. As equipes que publicam resultados negativos são agradecidas no resumo trimestral de pesquisa ao lado das que publicam positivos. Ao longo de um ano, a mistura de rolhas e vistos comuns no quadro mostra se a cultura está funcionando.
18.13 Ícones não substituem relatos
Os ícones de rolha de champanhe são opcionais; o relato não é. Sam rejeita ícones sem texto. Um ícone sem um relato vinculado deixaria uma equipe reivindicar crédito por um resultado negativo com o qual ninguém consegue aprender. A regra do quadro é que o ícone só é exibido quando os campos do relato estão preenchidos: pergunta, desenho, limiar, resultado, limites. Rejeitar um ícone solto é ocasional e um pouco constrangedor, e mantém o quadro útil. Uma celebração que não deixa um registro reutilizável é só decoração.
18.14 Um linter para celebrações vazias
Ícones sem texto são removidos pelo linter de markdown do quadro. O linter é uma verificação curta que roda quando uma entrada do quadro é salva. Se encontra um ícone de rolha e campos de relato vazios, ele remove o ícone e deixa um comentário pedindo o texto. A automação importa aqui porque Sam não consegue revisar toda edição. O linter também impede que colegas bem-intencionados acrescentem ícones a entradas antigas que nunca tiveram relatos, o que inventaria uma história que o quadro não tem.
Exemplo resolvido (TRB sintético)
Sam pré-registra: sucesso se a detecção for ≥80% em 50 e-mails sintéticos no estilo T1566, com limite inferior de Wilson ≥0,7.
Caso sintético — Riverstone Transit Bank (TRB). O banco, Sam Ito, TrackScope/FindingsDesk/PulseMap e todos os números são inventados para fins didáticos.
Erros e limites
Este livro não concede nenhuma autoridade para testar bancos ou sistemas de pagamento reais. Os laboratórios usam apenas endereços de faixas de documentação e dados sintéticos; código de exploit nunca é fornecido.
Exercícios
- EX052 — Pergunta ruim. Por que "a segurança é boa?" é uma pergunta de pesquisa ruim? Rubrica: 3 = não é mensurável/específica; 2 = parcial; 1 = tudo bem; 0 = nada.
- EX053 — Pré-registro. O que deve ser escrito antes dos resultados? Rubrica: 3 = métrica e limiar (e desenho); 2 = parcial; 1 = vago; 0 = nada.
- EX054 — Phishing com funcionários. Que aprovações são necessárias antes de um phishing simulado? Rubrica: 3 = CISO/RH (e ROE); 2 = uma; 1 = vago; 0 = nada.
Síntese
Perguntas respondíveis, métricas pré-registradas e ética antes dos ensaios de purple team.
Continue estudando — capítulo 18 de 40
← Capítulo 17 (rascunho) · Índice de capítulos do curso · Capítulo 19 (rascunho) →