Capítulo 5 — Estudo principal e validação independente
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Desenho"]
N1["5.2 Medida primária"]
N2["Laboratório — intervalos para a acurácia"]
N3["5.3 Ler o resultado"]
N4["5.4 Danos"]
N5["5.5 Validação independente"]
N6["5.6 Tempo"]
N7["Desvios do plano"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Desenho"]
N1["5.2 Medida primária"]
N2["Laboratório — intervalos para a acurácia"]
N3["5.3 Ler o resultado"]
N4["5.4 Danos"]
N5["5.5 Validação independente"]
N6["5.6 Tempo"]
N7["Desvios do plano"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX027"]
[5.1 Desenho]
|
v
[5.2 Medida primária]
|
v
[Laboratório — intervalos para a acurácia]
|
v
[5.3 Ler o resultado]
|
v
[5.4 Danos]
|
v
[5.5 Validação independente]
|
v
[5.6 Tempo]
|
v
[Desvios do plano]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem
Você vai (1) conduzir um estudo cruzado controlado; (2) estimar efeitos com intervalos; (3) providenciar a validação independente da análise; (4) relatar os efeitos com honestidade, incluindo os danos.
5.1 Desenho
Oito analistas fazem, cada um, a triagem de 40 alertas: 20 cartões de linha de base e 20 cartões enriquecidos, em ordem contrabalançada, com os conjuntos de alertas trocados entre as metades. Cada um dos 320 alertas do corpus é triado por exatamente um analista, então o estudo tem 320 decisões, 160 por condição. Os cartões enriquecidos acrescentam a criticidade do ativo, o papel do usuário e a contagem de alertas semelhantes fechados como benignos nos últimos 30 dias. O contrabalanceamento significa que metade dos analistas vê primeiro os cartões de linha de base e metade vê primeiro os enriquecidos, de modo que o aprendizado e a fadiga afetem igualmente as duas condições. Trocar os conjuntos de alertas entre as metades garante que as diferenças venham dos cartões, e não de alertas mais fáceis numa das condições. Os três campos enriquecidos foram escolhidos a partir da propriedade contextual e do que os analistas da Northgate disseram consultar com mais frequência.
5.2 Medida primária
Acurácia: a proporção de disposições que coincidem com a verdade de referência. Somando todos os analistas, cada condição tem 160 decisões sobre alertas (8 analistas × 20), e todas entram no intervalo registrado. A acurácia é pontuada contra os rótulos do corpus confirmados pelos analistas seniores. As decisões são registradas automaticamente, incluindo qualquer mudança de disposição antes do envio, de modo que a decisão final é a pontuada. O tempo até a disposição é registrado no mesmo log, mas tratado como secundário, conforme o registro. Um alerta só é pontuado como correto quando a disposição coincide exatamente com o rótulo; escalar um alerta benigno conta como erro, assim como fechar um ataque, porque ambos custam tempo ou segurança a um SOC.
Laboratório — intervalos para a acurácia
"""Wilson 95% intervals for triage accuracy in two synthetic conditions."""
import math
def wilson(k, n, z=1.96):
p = k / n
d = 1 + z*z/n
c = (p + z*z/(2*n)) / d
h = z * math.sqrt(p*(1-p)/n + z*z/(4*n*n)) / d
return c - h, c + h
for name, k, n in (("baseline", 118, 160), ("enriched", 139, 160)):
lo, hi = wilson(k, n)
print(f"{name:9} {k}/{n} = {k/n:.3f} 95% CI [{lo:.3f}, {hi:.3f}]")
Execute com python3 lab_wilson.py. Saída verificada:
baseline 118/160 = 0.738 95% CI [0.664, 0.800]
enriched 139/160 = 0.869 95% CI [0.808, 0.913]
5.3 Ler o resultado
A acurácia da linha de base é 118/160 = 0.738 (IC de 95% 0.664–0.800); a dos cartões enriquecidos é 139/160 = 0.869 (0.808–0.913). Os intervalos por pouco não se sobrepõem (0.800 contra 0.808), e a diferença de 13 pontos é compatível com a hipótese. Como os mesmos analistas fizeram as duas condições, a análise pareada registrada é o teste principal; os intervalos de Wilson descrevem cada condição. Eles tratam as 160 decisões agregadas como independentes, embora cada analista contribua com 20 delas, então provavelmente são um pouco estreitos demais se os analistas diferirem em habilidade; é por isso que são apenas descritivos. Nadia relata o intervalo de cada condição e deixa a inferência principal para o teste pareado registrado. Os dois intervalos juntos mostram aos leitores a escala da mudança. Nenhum intervalo é usado sozinho para afirmar significância, já que intervalos sobrepostos ou separados não constituem um teste formal.
5.4 Danos
Das 21 decisões corretas adicionais, a maioria foi de disparos benignos fechados corretamente. Mas dois ataques verdadeiros foram fechados por engano na condição enriquecida, ambos com a nota "alertas semelhantes fechados como benignos: 14". O contexto de histórico pode adormecer a atenção dos analistas. Isso é relatado com destaque. Nadia relata os dois ataques perdidos no resumo, e não só nos resultados, porque quem for adotar cartões enriquecidos precisa saber deles. Ela examina os dois alertas em detalhe como parte da análise de falhas, e o campo de histórico se torna o foco do estudo complementar e da crítica que se seguiu.
5.5 Validação independente
Uma estatística de outra universidade refaz a análise a partir dos logs brutos e dos scripts de Nadia sem ver os resultados dela. Os números dela coincidem até a terceira casa decimal, o que também verifica que os scripts estão completos. A estatística recebeu o plano registrado e os logs anonimizados, não as tabelas de Nadia, então a concordância mostra que a análise decorre do plano e dos dados. O relatório de validação está no arquivo, com o nome e a universidade dela. O Prof. Grant indicou a estatística por meio da Calder University: alguém sem nenhuma participação no estudo nem na orientação de Nadia.
5.6 Tempo
A mediana do tempo até a disposição caiu de 96 para 81 segundos; a diferença de tempo é secundária e identificada como tal. Como o tempo foi registrado como secundário, Nadia não o testa como hipótese principal nem constrói afirmações sobre ele. Ela observa que decisões mais rápidas nos cartões enriquecidos são compatíveis com analistas usando o contexto para resolver rapidamente disparos benignos, mas a mesma rapidez pode ter contribuído para os dois ataques perdidos. Os dados de tempo são publicados com os logs para que outros os analisem. A comparação de tempo também é relatada por analista, para que os leitores vejam se a queda de 96 para 81 segundos veio de poucas pessoas.
Desvios do plano
Um analista perdeu uma sessão por doença e a concluiu uma semana depois. O registro permitia isso; o desvio é relatado com a data.
Exemplo resolvido
Parágrafo de resultados de Nadia: "Os cartões enriquecidos elevaram a acurácia de 0.738 para 0.869 (diferença pareada 0.131, IC de 95% conforme a análise registrada). Dois ataques verdadeiros foram fechados incorretamente na condição enriquecida, ambos exibindo uma alta contagem de histórico benigno; tratamos isso como um risco de desenho."
Caso sintético. Os números vêm do script do laboratório.
Erros e limites
Oito analistas de um único SOC limitam a generalização; os efeitos dos analistas podem predominar.
Exercícios
- EX027 — Desenho cruzado. Descreva o desenho cruzado. Rubrica: 3 = cada analista nas duas condições, ordem contrabalançada, conjuntos trocados; 2 = parcial; 1 = dois grupos; 0 = nada.
- EX028 — Campos de enriquecimento. Que contexto os cartões enriquecidos acrescentaram? Rubrica: 3 = criticidade do ativo, papel do usuário, contagem de histórico benigno; 2 = dois; 1 = um; 0 = nada.
- EX029 — Resultados dos intervalos. Relate as duas acurácias com seus intervalos. Rubrica: 3 = 0.738 [0.664, 0.800]; 0.869 [0.808, 0.913]; 2 = só os valores; 1 = errado; 0 = nada.
- EX030 — Análise pareada. Por que a análise pareada é o teste principal? Rubrica: 3 = os mesmos analistas nas duas condições; 2 = parcial; 1 = sem motivo; 0 = nada.
- EX031 — Dano encontrado. Que dano o enriquecimento causou? Rubrica: 3 = dois ataques fechados com alta contagem de histórico benigno; 2 = parcial; 1 = vago; 0 = nada.
- EX032 — Método de validação. Como a análise foi validada de forma independente? Rubrica: 3 = estatística externa refez a partir dos logs brutos sem ver os resultados; coincidiu; 2 = parcial; 1 = autoverificação; 0 = nada.
Síntese
Desenhos controlados, estimativas por intervalo, reanálise independente e relato honesto dos danos tornam um estudo principal crível.
Continue estudando — capítulo 05 de 08
← Capítulo 04 (rascunho) · Índice de capítulos do curso · Capítulo 06 (rascunho) →