Capítulo 33 — Métodos de pesquisa II
Mapa da aula
Aula 33 publicada. Mapa, exemplo, EX097.
flowchart TD
N0["33.1 Análise"]
N1["33.2 Validade"]
N2["33.3 Avaliação adaptativa"]
N3["33.5 Compartilhamento de dados"]
N4["33.6 Revisita à ética"]
N5["33.7 Três ameaças à validade"]
N6["33.8 Log de adaptação"]
N7["33.9 Data de envelhecimento do teste"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX097"]
Desenho lógico
flowchart LR
N0["33.1 Análise"]
N1["33.2 Validade"]
N2["33.3 Avaliação adaptativa"]
N3["33.5 Compartilhamento de dados"]
N4["33.6 Revisita à ética"]
N5["33.7 Três ameaças à validade"]
N6["33.8 Log de adaptação"]
N7["33.9 Data de envelhecimento do teste"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX097"]
[33.1 Análise]
|
v
[33.2 Validade]
|
v
[33.3 Avaliação adaptativa]
|
v
[33.5 Compartilhamento de dados]
|
v
[33.6 Revisita à ética]
|
v
[33.7 Três ameaças à validade]
|
v
[33.8 Log de adaptação]
|
v
[33.9 Data de envelhecimento do teste]
|
v
[Exemplo resolvido] --> [Exercício EX097]
Objetivos de aprendizagem
Você vai (1) analisar resultados de purple team; (2) respeitar as ameaças à validade; (3) relatar a incerteza.
33.1 Análise
Usar intervalos; evitar p-hacking trocando métricas a posteriori. Os planos de análise nomeiam a métrica e o intervalo antes de a coleta de dados começar. Sam rejeita rascunhos de estudo que guardam três métricas reserva na gaveta para um slide mais bonito. Os intervalos comunicam a incerteza; as estimativas pontuais sozinhas convidam a uma precisão falsa. Trocas a posteriori só são permitidas como notas exploratórias claramente rotuladas como tal. O modelo de relatório do laboratório tem uma caixa de métricas travada que não pode ser editada depois que os dados chegam. O pré-compromisso é o que mantém honestos os estudos de sala de aula quando os resultados decepcionam.
33.2 Validade
Homologação, fadiga de alertas e contas compartilhadas ameaçam a generalização. As seções de validade precisam nomear ameaças que de fato se aplicam a ambientes no estilo do TRB. Homologação sem o ruído da produção, analistas afogados em alertas e contas de administrador compartilhadas distorcem o que uma pontuação de detecção significa. A rubrica de Sam desconta relatórios que só mencionam o tamanho da amostra. As ameaças vêm acompanhadas de uma mitigação ou de um limite explícito às alegações. O leitor deve saber até onde o resultado pode viajar. Alegar demais a partir de um laboratório arrumado é uma falha de validade, e não uma vitória de marketing.
33.3 Avaliação adaptativa
Os adversários se adaptam; conjuntos estáticos de testes envelhecem. Uma avaliação que nunca se renova vira um museu dos truques do ano passado. Sam registra quando atacantes ou sistemas internos mudam o suficiente para envelhecer um teste estático. A avaliação adaptativa agenda gatilhos de renovação, e não apenas revisões anuais. Uma pontuação perfeita num conjunto congelado pode esconder um ponto cego que se abriu no mês passado. O grupo de pesquisa trata o envelhecimento como um risco de primeira classe. Oponentes vivos exigem testes vivos se a linguagem de asseguração for significar alguma coisa. Os gatilhos de renovação pertencem ao plano, e não a um remorso culpado.
33.4 Divulgação dos limites
Todo estudo lista os limites no resumo. Limites enterrados na página doze é quase como se não existissem para leitores ocupados. Sam exige pelo menos três limites no resumo: ambiente, amostra e adaptação do adversário. A geração do PDF falha se a lista for mais curta. Nomear os limites cedo é uma qualidade que constrói confiança com revisores céticos. Estudantes que escondem limites para parecer fortes perdem pontos por educação científica. Resumos que admitem fraqueza ensinam melhor julgamento do que resumos que se gabam. Colocar os limites na frente treina o leitor a confiar no restante da página.
33.5 Compartilhamento de dados
Conjuntos sintéticos são preferidos para compartilhar. Logs brutos do TRB não saem do banco para um artigo de sala de aula. O padrão de Sam é um conjunto sintético com geradores documentados e verdade de referência conhecida. Quando traços reais forem essenciais, o jurídico e a privacidade aprovam uma versão fortemente sanitizada com um prazo de retenção. Compartilhar o gerador costuma ensinar mais do que compartilhar um dump. Os estudantes aprendem a publicar o suficiente para a reprodução sem exportar a vida do cliente. Conjuntos sintéticos também permitem plantar falhas conhecidas que os logs reais raramente rotulam com limpeza.
33.6 Revisita à ética
Reconferir as aprovações se os métodos se expandirem no meio do estudo. A expansão de escopo nos métodos pode ultrapassar a aprovação ética original. Sam pausa a coleta quando aparece uma técnica nova e registra uma emenda antes de continuar. Estudantes ansiosos para "só mais um salto" são o motivo de a regra existir. A emenda nomeia o que mudou e quem aprovou a expansão. Continuar sem ela transforma um estudo cuidadoso numa coleta fora do escopo. Revisitar a ética não é burocracia; é como a autorização acompanha a curiosidade. Uma pausa curta evita um projeto longo que ninguém pode defender.
33.7 Três ameaças à validade
As seções de validade listam pelo menos três ameaças todas as vezes: ambiente, tamanho da amostra e adaptação do adversário. O modelo de Sam não gera o PDF do relatório se a lista tiver menos de três. O mínimo de três ameaças impede o teatro vazio de validade. Ambiente cobre as diferenças entre homologação e produção que os estudantes adoram ignorar. Tamanho da amostra cobre a tentação de tratar n=2 como destino. Adaptação do adversário cobre o envelhecimento que os conjuntos estáticos sofrem. O travamento do modelo torna a lista um hábito, e não um item opcional. Relatórios que passam na verificação ainda precisam de prosa que ligue cada ameaça a um limite de alegação.
33.8 Log de adaptação
Quando atacantes ou sistemas mudam, Sam registra quais testes estáticos envelheceram. O log alimenta o desenho do próximo ensaio. O log de adaptação é uma lista datada do que mudou e de quais testes isso fere. Sam o revisa antes de propor um novo ensaio, para que o desenho não finja que o mundo parou. Entradas citam tickets de mudança ou notas de inteligência quando existem. Um log vazio num trimestre movimentado é, ele próprio, um sinal de alerta. O desenho do próximo ensaio começa perguntando o que o log tornou obsoleto. Renovações sem um log viram adivinhação vestida de metodologia.
33.9 Data de envelhecimento do teste
Os testes carregam uma data de revisão. Testes vencidos não podem sustentar alegações de asseguração até serem renovados. Todo teste empacotado tem uma data de revisão ao lado do nome. Testes vencidos ainda podem rodar para treinamento, mas não podem ser citados na linguagem de asseguração. O verificador de asseguração de Sam recusa citações cujos ids estão vencidos. A data força uma conversa sobre renovação antes que alguém cole um resultado antigo num slide do conselho. Treinamento e asseguração usam os mesmos artefatos sob regras diferentes. Separar esses usos evita que a prática de sala de aula se apresente como cobertura.
33.10 Idades dos testes no semáforo
As datas de envelhecimento dos testes ficam laranja aos trinta dias e vermelhas aos noventa. Testes vermelhos não podem ser citados em declarações de asseguração até serem reexecutados. Sam gosta mais de semáforos do que de parágrafos de política. A cor no painel vence um PDF de política que ninguém abre. Laranja significa agendar uma renovação; vermelho significa que a citação está bloqueada. Sam mostrou as luzes à liderança uma vez e a discussão sobre política encurtou. Os operadores entendem o vermelho sem um memorando. O código de cores torna o envelhecimento impossível de ignorar educadamente. As cores mudam automaticamente a partir das datas de revisão, para que ninguém precise lembrar de pintar o risco à mão.
33.11 Laranja agenda, vermelho bloqueia
Testes laranja são agendados; testes vermelhos bloqueiam citações. O checklist de asseguração de Sam pergunta literalmente "algum teste vermelho citado?" com uma caixa de não obrigatória. Agendar é a resposta construtiva ao laranja; bloquear é a resposta dura ao vermelho. A caixa de não do checklist é uma pausa forçada antes que alguém cole uma pontuação antiga. Sam trata uma caixa de não desmarcada como uma falha de construção, e não como um detalhe de formatação. O bloqueio protege o conselho de asseguração vintage. Agendar mantém o trabalho de renovação visível ao lado dos engajamentos. As duas respostas juntas transformam o envelhecimento de um sermão num fluxo de trabalho.
33.12 API do semáforo nas gerações
A API do semáforo é consultada pela geração do relatório; citações vermelhas fazem a geração falhar. As gerações de relatório chamam o serviço do semáforo e falham fechadas em citações vermelhas. Os autores veem qual id de teste derrubou a geração e precisam renovar ou remover a alegação. Sam prefere uma geração vermelha a um PDF polido com evidência podre. A verificação da API remove debates sobre se alguém "realmente citou" um teste velho. A falha mecânica ensina mais rápido do que a orientação depois do fato. Os autores aprendem a consultar as luzes antes de escrever a frase de asseguração.
33.13 Gerações offline falham fechadas
As gerações de relatório chamam a API do semáforo; as gerações offline falham fechadas. Gerações de conveniência em notebooks sem rede costumavam pular a verificação. Essa omissão era um buraco grande o bastante para uma alegação envelhecida passar. Sam mudou o padrão para falhar fechado offline, para que o caminho conveniente não seja o perigoso. Autores que precisam trabalhar em trânsito pré-buscam o estado do semáforo enquanto ainda estão online. A regra chateia as pessoas uma vez e depois evita surpresas constrangedoras. Falhar fechado offline alinha o laptop com o mesmo hábito da plataforma.
33.14 Proibição de "provar" sem limiar
O plantão de pesquisa proíbe a palavra "provar" a menos que um limiar pré-registrado seja citado. Sam toca um pequeno sino. A sala se autocorrige na terceira semana. O discurso casual de prova infla o que um estudo de sala de aula consegue carregar. O sino é um pouco ridículo e extremamente eficaz para interromper o hábito. Os palestrantes precisam citar o limiar pré-registrado ou reformular como suporte, sugestão ou lacuna. Na terceira semana, os colegas tocam o sino uns para os outros. Sam quer precisão linguística antes que os slides cheguem a patrocinadores que ouvem "provado" como certeza. Hábitos pequenos e barulhentos vencem memorandos silenciosos sobre modestia.
Exemplo resolvido (TRB sintético)
Sam relata o GAP da T1190 com n=2 e se recusa a alegar "detecção zero para sempre".
Caso sintético — Riverstone Transit Bank (TRB). O banco, Sam Ito, TrackScope/FindingsDesk/PulseMap e todos os números são inventados para fins didáticos.
Erros e limites
Este livro não concede nenhuma autoridade para testar bancos ou sistemas de pagamento reais. Os laboratórios usam apenas endereços de faixas de documentação e dados sintéticos; código de exploit nunca é fornecido.
Exercícios
- EX097 — A posteriori. Por que não mudar a métrica de sucesso depois de ver os dados? Rubrica: 3 = p-hacking / alegação viesada; 2 = parcial; 1 = tudo bem; 0 = nada.
- EX098 — n=2. Como Sam deveria falar de um GAP com n=2? Rubrica: 3 = incerteza honesta de amostra pequena; 2 = parcial; 1 = prova de zero para sempre; 0 = nada.
- EX099 — Adaptativo. Por que conjuntos estáticos de testes envelhecem? Rubrica: 3 = adversários e sistemas mudam; 2 = parcial; 1 = não envelhecem; 0 = nada.
Síntese
A pesquisa une análise com intervalos, ameaças à validade nomeadas e limites honestos.
Continue estudando — capítulo 33 de 40
← Capítulo 32 (rascunho) · Índice de capítulos do curso · Capítulo 34 (rascunho) →