Capítulo 24 — Métodos de pesquisa aplicada
Mapa da aula
Aula 24 publicada. Mapa, exemplo, EX070.
flowchart TD
N0["24.1 Perguntas que valem a pena"]
N1["24.2 Métodos adequados a tecnólogos"]
N2["24.3 Ética em primeiro lugar"]
N3["24.4 Lista de verificação do resumo"]
N4["24.5 Reprodutibilidade para tecnólogos"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX070"]
Desenho lógico
flowchart LR
N0["24.1 Perguntas que valem a pena"]
N1["24.2 Métodos adequados a tecnólogos"]
N2["24.3 Ética em primeiro lugar"]
N3["24.4 Lista de verificação do resumo"]
N4["24.5 Reprodutibilidade para tecnólogos"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX070"]
[24.1 Perguntas que valem a pena]
|
v
[24.2 Métodos adequados a tecnólogos]
|
v
[24.3 Ética em primeiro lugar]
|
v
[24.4 Lista de verificação do resumo]
|
v
[24.5 Reprodutibilidade para tecnólogos]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX070]
Objetivos de aprendizagem
Você vai (1) formular uma pergunta de pesquisa sobre a prática de avaliação que possa ser respondida com dados sintéticos ou autorizados; (2) escolher um método (estudo de medição, comparação de casos, entrevista estruturada); (3) declarar de início a ética e os limites; (4) escrever uma lista de verificação de resumo que pegue as peças que faltam.
24.1 Perguntas que valem a pena
Exemplos: um pipeline de três controles reduz as tentativas fora de escopo nos exercícios de estudantes? Em quais técnicas do ATT&CK o SOC da TRT alerta depois de um ciclo purple? Quanto tempo os chamados de correção de cada severidade ficam abertos? Cada pergunta nomeia uma população, uma medida e um limite. Uma pergunta como "o red team funciona?" não passa nesse teste, porque não nomeia população nem medida. A pergunta de estúdio de Priya sobre tentativas fora de escopo passa: a população são os exercícios de estúdio, a medida são as linhas OUT-OF-SCOPE no log do verificador, e o limite é que o comportamento de estudantes pode diferir do de uma equipe contratada. Perguntas que só poderiam ser respondidas testando usuários reais sem o conhecimento deles são rejeitadas de imediato.
24.2 Métodos adequados a tecnólogos
Estudos de medição sobre dados de chamados e de cobertura; comparações de antes e depois quando um controle muda; entrevistas estruturadas com analistas do SOC sobre a qualidade dos alertas. A pesquisa de exploits em laboratório está fora do escopo deste curso. O fio comum são dados com que um tecnólogo já lida: carimbos de tempo de chamados, células da matriz de cobertura e as palavras dos analistas que fazem a triagem dos alertas. Uma comparação de antes e depois em torno do DET-19, por exemplo, pode contar quantas vezes a nova detecção disparou sobre atividade sintética repetida. Propostas que derivam para o desenvolvimento de exploits inéditos são redirecionadas, porque exigem um laboratório e uma autorização que este curso não pode oferecer.
24.3 Ética em primeiro lugar
Nada de testes encobertos com usuários reais, nada de coleta de dados pessoais além do acordo, nada de publicação de identificadores de clientes. Rotule os dados sintéticos. Obtenha aprovação antes de entrevistar funcionários. Cada uma dessas regras tem uma verificação concreta que um revisor pode executar antes da submissão. Os logs sintéticos levam um rótulo nos nomes de arquivo e nos cabeçalhos, o consentimento para entrevistas é escrito e arquivado antes de qualquer resumo ser redigido, e todo rascunho público é pesquisado em busca de nomes e identificadores de clientes antes de ser enviado ao seminário. Um rascunho que falha na pesquisa volta ao autor, em vez de ser editado discretamente por um revisor.
24.4 Lista de verificação do resumo
Um resumo aceitável declara a pergunta, o método, o tamanho da amostra n, os limites e a postura ética. A falta do n é um modo de falha comum em trabalhos de estudantes. O exemplo resolvido de Priya mostra o mínimo: n = 3 exercícios e 12 ações, declarados no resumo ao lado do limite de que os dados são sintéticos. A avaliação do seminário trata a falta de uma linha de limites com a mesma seriedade que a falta do n, porque as duas permitem que o leitor superestime o que o estudo mostra. A linha de ética nomeia a postura — aqui, nenhum sistema real —, em vez de dizer que a ética foi considerada.
24.5 Reprodutibilidade para tecnólogos
Um colega deve conseguir refazer as contagens a partir dos logs sintéticos e obter as mesmas frações. Priya guarda os arquivos de entrada ao lado do resumo e anota a versão do Python. Reprodutibilidade aqui não tem a ver com ambientes exóticos; tem a ver com não acenar para números que ninguém mais consegue reconstruir. No miniestudo da fração de HOLDs, isso significa que os três logs sintéticos de exercícios, o script de contagem e uma nota com a versão do Python ficam numa só pasta, ao lado do resumo. Um colega que execute de novo o script deve chegar à mesma contagem de HOLDs em 12 ações. A captura de tela do total de uma planilha não é aceita, porque ninguém consegue verificar como ele foi produzido.
Exemplo resolvido
O miniestudo de Priya pergunta: depois da introdução do registro do operador, que fração das ações planejadas foi HOLD em três exercícios sintéticos? Método: contar as saídas do pipeline. n = 3 exercícios, 12 ações. Limite: apenas dados sintéticos. Ética: nenhum sistema real. Ela se recusa a afirmar que o resultado se generaliza para todos os fornecedores.
Caso sintético. O desenho do miniestudo foi inventado para o trabalho do curso.
Erros e limites
Colher logs de produção para um artigo sem aprovação continua sendo uma violação no tratamento de dados. Um n minúsculo exige afirmações humildes.
Exercícios
- EX070 — Forma da pergunta. Reescreva "Red teams são bons?" como uma pergunta de pesquisa mensurável para a TRT. Rubrica: 3 = nomeia medida, população e período; 2 = parcialmente mensurável; 1 = continua vaga; 0 = nada.
- EX071 — Falta o n. Um resumo descreve o método e os limites, mas não o tamanho da amostra. O que diz a lista de verificação? Rubrica: 3 = n MISSING → revisar; 2 = incompleto; 1 = está bom assim; 0 = nada.
- EX072 — Linha de ética. Escreva uma frase de ética que Priya possa pôr em seu resumo. Rubrica: 3 = nenhum sistema real / dados sintéticos ou autorizados / nenhum dado pessoal além do acordo; 2 = ética vaga; 1 = não é necessária; 0 = nada.
Síntese
Faça uma pergunta mensurável, escolha um método humilde, ponha a ética no resumo e nunca pule o n.
Continue estudando — capítulo 24 de 30
← Capítulo 23 (rascunho) · Índice de capítulos do curso · Capítulo 25 (rascunho) →