Capítulo 1 — Integridade e métodos avançados de pesquisa
Mapa da aula
Aula 01 publicada. Mapa, exemplo, EX001.
flowchart TD
N0["1.1 Por que a integridade importa na pesquisa sobre"]
N1["1.2 Três construtos, mantidos separados"]
N2["1.3 Dados para pesquisa"]
N3["1.4 Pré-registro"]
N4["1.5 Interesses e ferramentas"]
N5["1.6 Ética com analistas como participantes"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX001"]
Desenho lógico
flowchart LR
N0["1.1 Por que a integridade importa na pesquisa sobre"]
N1["1.2 Três construtos, mantidos separados"]
N2["1.3 Dados para pesquisa"]
N3["1.4 Pré-registro"]
N4["1.5 Interesses e ferramentas"]
N5["1.6 Ética com analistas como participantes"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX001"]
[1.1 Por que a integridade importa na pesquisa sobre]
|
v
[1.2 Três construtos, mantidos separados]
|
v
[1.3 Dados para pesquisa]
|
v
[1.4 Pré-registro]
|
v
[1.5 Interesses e ferramentas]
|
v
[1.6 Ética com analistas como participantes]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX001]
Objetivos de aprendizagem
Você vai (1) aplicar princípios de integridade na pesquisa à pesquisa em operações de segurança; (2) separar qualidade de detecção, qualidade de triagem e resultado operacional como construtos distintos; (3) planejar estudos que usem dados operacionais sintéticos ou consentidos; (4) pré-registrar hipóteses, medidas e análise.
1.1 Por que a integridade importa na pesquisa sobre SOC
A pesquisa sobre SOC define como as organizações gastam o tempo escasso dos analistas. Um estudo que exagera o valor de um apoio à triagem pode levar um SOC a desligar alertas úteis ou a confiar numa ferramenta que deveria verificar. Vielberth et al. (2020), num estudo sistemático da literatura sobre SOC, encontraram uma área fragmentada e carente de avaliação empírica; Kokulu et al. (2019) mostraram, por meio de entrevistas, que gestores e analistas frequentemente discordam até sobre quais são os problemas do SOC. Um projeto de doutorado deve acrescentar evidências cuidadosas, não mais opinião.
1.2 Três construtos, mantidos separados
A qualidade de detecção pergunta se uma regra dispara na atividade que visa e fica em silêncio nos demais casos (precisão, recall). A qualidade de triagem pergunta se um analista, diante de um alerta, chega à disposição correta (acurácia, tempo, concordância). O resultado operacional pergunta se os incidentes são contidos mais cedo ou com menos dano. Um estudo pode melhorar um enquanto piora outro; as afirmações devem dizer qual construto foi medido. A tese de Nadia mede apenas a qualidade de triagem. Seus alertas sintéticos têm rótulos conhecidos, então a acurácia pode ser pontuada com exatidão, mas nada no desenho mostra se a Northgate conteria incidentes mais rápido. O capítulo de conclusão mantém esse limite.
1.3 Dados para pesquisa
Dados reais de SOC contêm dados pessoais, segredos de negócio e evidências de incidentes em andamento. Raramente podem ser compartilhados e podem não ter consentimento para pesquisa. Conjuntos sintéticos de alertas com verdade de referência conhecida permitem pontuação exata e publicação aberta. Quando dados operacionais são necessários, eles são usados sob um acordo de compartilhamento de dados, minimizados e pseudonimizados, com aprovação ética. O corpus de Nadia é sintético por esses motivos: a Northgate atende vários municípios, e seus alertas reais incluiriam dados de moradores e funcionários. Os únicos dados operacionais do estudo são os próprios logs de triagem dos analistas, coletados com consentimento e anonimizados antes da análise, com aprovação ética da Calder University.
1.4 Pré-registro
Antes do estudo principal, a candidata registra hipóteses, medidas primárias e secundárias, a justificativa do tamanho da amostra, o plano de análise e as regras de exclusão. Mudanças posteriores são permitidas, mas registradas com seus motivos, para que os leitores distingam resultados planejados de exploratórios. Nadia registra a acurácia como medida primária e o tempo até a disposição como secundária, com a análise pareada e a regra de exclusão para sessões incompletas. Seu registro de mudanças, que começa na versão 1.1 depois do piloto, documenta cada mudança posterior, para que os leitores vejam que mover os campos de contexto para o topo do cartão aconteceu antes do estudo principal, e não depois de os resultados serem conhecidos.
1.5 Interesses e ferramentas
Fornecedores podem financiar estudos sobre SOC ou fornecer ferramentas. Financiamento, relações e versões de ferramentas são declarados. Um estudo que testa um produto não pode deixar o fornecedor aprovar as conclusões. O estudo de Nadia não usa nenhum produto de fornecedor; os cartões de alerta são de autoria dela, e as regras são escritas no formato aberto Sigma. Ainda assim, ela registra a versão do Python usada para gerar os alertas e pontuar as decisões, e o formulário de declaração da Calder afirma que a Northgate não recebe pagamento nem benefício de produto pelo estudo. A tese lista essas declarações nos elementos pré-textuais, para que os examinadores as vejam antes dos resultados.
1.6 Ética com analistas como participantes
Quando analistas são participantes, seus dados de desempenho podem afetar carreiras. O consentimento é voluntário, os gestores não veem pontuações individuais e os participantes podem desistir. Na Northgate, Ruth Okonkwo aprovou a participação no horário de trabalho, mas concordou por escrito em não ver as pontuações individuais de acurácia. Os analistas recebem IDs aleatórios antes das sessões, e os resultados são relatados apenas de forma agregada. Um analista que desiste pode ter seus logs removidos até o momento da análise, e o termo de consentimento informa essa data. Nadia também prometeu apresentar os resultados primeiro aos analistas.
Exemplo resolvido
Nadia Ferreira, doutoranda na fictícia Calder University sob orientação do Prof. Elias Grant, esboça o objetivo "alertas enriquecidos com contexto tornam os analistas melhores". Grant pergunta: melhores em quê, medidos como, contra que verdade, com que incerteza? Nadia reescreve: "Estimar a diferença na acurácia de triagem e na mediana do tempo até a disposição entre cartões de alerta de linha de base e cartões enriquecidos com contexto, em 160 alertas sintéticos com rótulos conhecidos, relatando intervalos de 95%."
Caso sintético. A Calder University, Nadia, o Prof. Grant e todos os dados são inventados.
Erros e limites
Alertas sintéticos simplificam as operações reais. Os resultados só se transferem na medida em que o conjunto de alertas se pareça com a mistura de um SOC real; a tese deve dizer quais características não foram modeladas.
Exercícios
- EX001 — Três construtos. Diferencie qualidade de detecção, qualidade de triagem e resultado operacional. Rubrica: 3 = os três com uma medida cada; 2 = dois; 1 = um; 0 = nada.
- EX002 — A lacuna da área. O que Vielberth et al. (2020) relataram sobre a pesquisa em SOC? Rubrica: 3 = fragmentada, carente de avaliação empírica; 2 = parcial; 1 = vago; 0 = nada.
- EX003 — Perspectivas diferentes. O que Kokulu et al. (2019) constataram sobre gestores e analistas? Rubrica: 3 = frequentemente discordam sobre os problemas do SOC; 2 = parcial; 1 = vago; 0 = nada.
- EX004 — Reescrever o objetivo. Transforme "alertas enriquecidos tornam os analistas melhores" num objetivo testável. Rubrica: 3 = medidas, condições, verdade de referência, incerteza; 2 = três; 1 = vago; 0 = nada.
- EX005 — Conteúdo do pré-registro. Cite cinco coisas registradas antes do estudo principal. Rubrica: 3 = hipóteses, medidas, justificativa do tamanho da amostra, análise, exclusões; 2 = três; 1 = uma; 0 = nada.
- EX006 — Proteção dos participantes. Como os analistas participantes são protegidos? Rubrica: 3 = consentimento voluntário, nenhuma pontuação individual para gestores, desistência; 2 = duas; 1 = uma; 0 = nada.
- EX007 — Limite do sintético. Indique o principal limite dos conjuntos sintéticos de alertas. Rubrica: 3 = só se transferem na medida em que a mistura se pareça com a realidade; dizer o que falta; 2 = parcial; 1 = vago; 0 = nada.
Síntese
A pesquisa sobre SOC deve nomear o construto medido, usar dados compartilháveis ou devidamente governados, pré-registrar e proteger os participantes.
Continue estudando — capítulo 01 de 08
← Página do curso · Índice de capítulos do curso · Capítulo 02 (rascunho) →