Capítulo 24 — Métodos de pesquisa aplicada
Mapa da aula
Aula 24 publicada. Mapa, exemplo, EX070.
flowchart TD
N0["24.1 Pergunta"]
N1["24.2 Desenho"]
N2["24.3 Medidas"]
N3["24.4 Ética"]
N4["24.5 Resultados"]
N5["24.6 Interpretação"]
N6["24.7 Relatório"]
N7["Verificação da literatura"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX070"]
Desenho lógico
flowchart LR
N0["24.1 Pergunta"]
N1["24.2 Desenho"]
N2["24.3 Medidas"]
N3["24.4 Ética"]
N4["24.5 Resultados"]
N5["24.6 Interpretação"]
N6["24.7 Relatório"]
N7["Verificação da literatura"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX070"]
[24.1 Pergunta]
|
v
[24.2 Desenho]
|
v
[24.3 Medidas]
|
v
[24.4 Ética]
|
v
[24.5 Resultados]
|
v
[24.6 Interpretação]
|
v
[24.7 Relatório]
|
v
[Verificação da literatura]
|
v
[Exemplo resolvido] --> [Exercício EX070]
Objetivos de aprendizagem
Você vai (1) desenhar um pequeno estudo aplicado num ambiente de TI; (2) coletar dados de forma ética; (3) analisar de modo simples e honesto; (4) relatar para profissionais da área.
24.1 Pergunta
"Encaminhar os logs de segurança dos desktops muda a rapidez com que a prefeitura consegue delimitar um incidente de movimento lateral?" A pergunta é estreita de propósito. Ela trata de uma mudança, o encaminhamento central, e de um resultado, a rapidez da delimitação, num único ambiente. Uma pergunta mais ampla, como se o registro de logs melhora a segurança, não poderia ser respondida com os recursos da prefeitura. Uma pergunta precisa também deixa claro o que os resultados podem e não podem sustentar. Jonah a escreve antes de desenhar qualquer coisa. Renata a combina com ele, para que o resultado seja útil para a prefeitura.
24.2 Desenho
Dois exercícios de mesa com parte técnica, usando movimento lateral sintético entre desktops de teste: um com logs apenas nos desktops (como antes) e outro com encaminhamento central. Mesma equipe, mesma variante de cenário, ordem dos cenários sorteada. Usar a mesma equipe e a mesma variante de cenário controla a habilidade e a dificuldade, e sortear a ordem trata do risco de que a rodada que vier em segundo lugar se beneficie da prática. Com uma equipe e duas rodadas, porém, o sorteio só consegue escolher qual ordem aconteceu; não consegue diluir um efeito de aprendizagem. Jonah registra esse limite do desenho antes de executar o estudo.
24.3 Medidas
Tempo para identificar todos os desktops de teste afetados; número de desktops identificados corretamente; confiança dos analistas (1–5). O tempo e o número de desktops identificados são medidos a partir dos registros do exercício; a confiança é informada pelos analistas. As duas primeiras medidas são objetivas e comparáveis; a terceira mostra quão seguras as pessoas se sentiam, o que importa porque uma resposta rápida dada com pouca confiança pode levar a mais verificações num incidente real. Cada medida é definida antes do exercício, para que não possa ser mudada depois que os resultados forem conhecidos.
24.4 Ética
Os participantes são funcionários; a participação é voluntária, e os resultados são relatados para a equipe, não por indivíduo. Os funcionários são informados de que o estudo mede um processo, e não o desempenho deles, e de que os resultados não aparecerão em avaliações de desempenho. Qualquer pessoa pode recusar sem dar motivo. Os desktops sintéticos não guardam dados pessoais, então a única informação pessoal envolvida é quem participou, que é guardada separada dos resultados. Os resultados são compartilhados com os participantes antes de qualquer outra pessoa, e qualquer um pode pedir a remoção de seus dados até a publicação da nota.
24.5 Resultados
Sem encaminhamento: 2 horas e 10 minutos, 4 de 5 desktops identificados. Com encaminhamento: 25 minutos, 5 de 5. A diferença é grande: quase duas horas mais rápido e um desktop a mais encontrado. O desktop que ficou de fora na primeira rodada tinha rotacionado o log durante o exercício, que é exatamente o problema que o encaminhamento pretende resolver. Jonah relata os números brutos, e não uma porcentagem de melhoria, porque com duas rodadas uma porcentagem sugere mais precisão do que existe. As notas de confiança também subiram, mas são relatadas à parte, como opinião.
24.6 Interpretação
O encaminhamento acelerou muito a delimitação neste exercício e encontrou o desktop que antes ficara de fora. Efeitos de aprendizagem da primeira rodada poderiam inflar a velocidade da segunda; sortear a ordem entre duas equipes, no futuro, ajudaria. O efeito de aprendizagem é uma preocupação real: na segunda rodada, a equipe já conhecia o formato do cenário. Mesmo assim, o desktop perdido na primeira rodada se explica pela rotação dos logs, e não pela inexperiência, o que sustenta a conclusão independentemente da velocidade. Jonah separa essas duas linhas de evidência em sua nota, para que os leitores possam pesá-las.
24.7 Relatório
Uma nota de uma página para profissionais, com os números e os limites, compartilhada com os colegas do condado. A nota começa com a pergunta e o resultado principal e depois apresenta o desenho em duas frases, os números e os limites: uma equipe, duas rodadas, um possível efeito de aprendizagem e um cenário sintético. Ela termina com o que a prefeitura decidiu, encaminhar os logs dos desktops, e com um convite para que os colegas repitam o estudo com suas próprias equipes. Os colegas recebem o cenário sem os detalhes de rede, como combinado com a prefeitura.
Verificação da literatura
Antes do estudo, Jonah procura orientações sobre o log centralizado em investigações. A NIST SP 800-86 discute o valor de logs de várias fontes para a análise, e a ISO/IEC 27043 inclui processos de prontidão. O estudo dele acrescenta evidência local para a prefeitura, e não um resultado geral, e ele diz isso no parágrafo de abertura da nota.
Tratamento dos dados
Os registros do exercício são guardados com os arquivos do cenário e a planilha de análise, com hash e armazenados na pasta compartilhada da equipe, para que os colegas do condado que lerem a nota possam pedir e repetir o estudo.
Compartilhando os resultados
Os colegas do condado pedem o cenário para executá-lo eles mesmos; Jonah o compartilha com a aprovação da prefeitura, sem os detalhes de rede.
Exemplo resolvido
Jonah observa que, na rodada sem encaminhamento, o desktop que ficou de fora tinha rotacionado o log durante a rajada de atividade sintética do exercício — o mesmo problema de retenção visto em incidentes reais.
Caso sintético. O estudo é inventado.
Erros e limites
Uma equipe e duas rodadas dão uma demonstração, não uma medição geral.
Exercícios
- EX070 — Medidas. Liste as três medidas. Rubrica: 3 = tempo, contagem correta, confiança; 2 = duas; 1 = uma; 0 = nada.
- EX071 — Resultados. Informe os dois resultados. Rubrica: 3 = 2h10/4 de 5 vs. 25 min/5 de 5; 2 = parcial; 1 = errado; 0 = nada.
- EX072 — Efeito de aprendizagem. Por que a segunda rodada poderia parecer melhor de qualquer modo? Rubrica: 3 = aprendizagem com a primeira rodada; sortear entre equipes; 2 = parcial; 1 = vago; 0 = nada.
Síntese
Pequenos estudos aplicados dão aos profissionais evidências úteis quando são desenhados com justiça e relatados com seus limites.
Continue estudando — capítulo 24 de 30
← Capítulo 23 (rascunho) · Índice de capítulos do curso · Capítulo 25 (rascunho) →