OpenCyber Academy
Pesquisa doutoral · Capítulo 4 · Português
Código do curso: OCA-199Capítulo 04: OCA-199-C004

Capítulo 4 — Replicação da linha de base e piloto

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 04 publicada. Mapa, exemplo, EX021.

flowchart TD
  N0["4.1 Por que replicar uma linha de base"]
  N1["4.2 Rótulos de verdade de referência"]
  N2["Laboratório — concordância nos rótulos"]
  N3["4.3 Ler o resultado"]
  N4["4.4 O piloto"]
  N5["4.5 O que o piloto encontrou"]
  N6["4.6 Dados do piloto"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX021"]

Desenho lógico

flowchart LR
  N0["4.1 Por que replicar uma linha de base"]
  N1["4.2 Rótulos de verdade de referência"]
  N2["Laboratório — concordância nos rótulos"]
  N3["4.3 Ler o resultado"]
  N4["4.4 O piloto"]
  N5["4.5 O que o piloto encontrou"]
  N6["4.6 Dados do piloto"]
  N7["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX021"]

[4.1 Por que replicar uma linha de base]
    |
    v
[4.2 Rótulos de verdade de referência]
    |
    v
[Laboratório — concordância nos rótulos]
    |
    v
[4.3 Ler o resultado]
    |
    v
[4.4 O piloto]
    |
    v
[4.5 O que o piloto encontrou]
    |
    v
[4.6 Dados do piloto]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX021]

Objetivos de aprendizagem

Você vai (1) replicar uma linha de base antes de testar uma intervenção; (2) medir a confiabilidade entre avaliadores dos rótulos de verdade de referência; (3) realizar um piloto para testar procedimentos; (4) revisar o protocolo a partir das evidências do piloto.

4.1 Por que replicar uma linha de base

Antes de afirmar que o enriquecimento ajuda, Nadia precisa mostrar que seu arranjo reproduz um comportamento conhecido: os analistas na condição de linha de base devem mostrar acurácia e confusão com disparos benignos semelhantes às que os profissionais relatam. Se a linha de base for estranha, a comparação não tem sentido. A verificação de Nadia é que os analistas da linha de base confundam disparos benignos com ataques numa taxa semelhante à descrita pelos profissionais. Se a acurácia da linha de base fosse quase perfeita, o enriquecimento não teria o que melhorar e o corpus seria fácil demais. Os resultados do piloto e da linha de base são comparados com os relatos de disparos benignos da literatura antes da análise principal.

4.2 Rótulos de verdade de referência

Os rótulos do corpus são escritos por Nadia quando ela gera os alertas, mas "malicioso" versus "benigno" pode ser discutível em casos limítrofes. Dois analistas seniores rotulam de forma independente 20 alertas de amostra para testar se os rótulos são claros. Se os dois analistas seniores discordarem com frequência, a própria verdade de referência é pouco clara e a acurácia não pode ser pontuada de forma justa. Os 20 alertas são sorteados de modo a incluir casos limítrofes, não só os óbvios, para que o teste seja exigente. Os analistas seniores não participam do estudo principal.

Laboratório — concordância nos rótulos

"""Cohen's kappa for two analysts labelling the same 20 synthetic alerts."""
from collections import Counter
a = "MMBBBMBBBBMBBBBBMBBB"   # M = malicious, B = benign (analyst A)
b = "MMBBBBBBBBMBBBMBMBBB"   # analyst B
n = len(a)
po = sum(x == y for x, y in zip(a, b)) / n
ca, cb = Counter(a), Counter(b)
pe = sum(ca[k] * cb[k] for k in "MB") / n**2
kappa = (po - pe) / (1 - pe)
print(f"n={n} observed agreement={po:.2f} chance={pe:.3f} kappa={kappa:.2f}")

Execute com python3 lab_kappa.py. Saída verificada:

n=20 observed agreement=0.90 chance=0.625 kappa=0.73

4.3 Ler o resultado

Os dois analistas concordam em 18 de 20 alertas (0.90). A concordância ao acaso, dada a frequência com que cada um diz "malicioso", é 0.625, então o kappa de Cohen é 0.73 — "substancial" na escala de Landis e Koch (1977). As duas discordâncias são discutidas; um rótulo é corrigido e um alerta é reescrito para eliminar a ambiguidade. O kappa é menor do que a concordância bruta porque os dois analistas classificaram a maioria dos alertas como benignos, o que torna alta a concordância ao acaso. O rótulo corrigido e o alerta reescrito ficam no registro de mudanças, incluindo o alerta 17. Com essas correções, Nadia considera os rótulos do corpus confiáveis o bastante para pontuar o estudo principal.

4.4 O piloto

Dois analistas voluntários que não participam do estudo principal fazem a triagem de 40 alertas, 20 em cada condição. O piloto verifica o tempo, as instruções, o leiaute do cartão de alerta e o registro em log. Os analistas do piloto usam os mesmos cartões e instruções do estudo principal, então qualquer problema que encontrem também afetaria as sessões principais. Depois, eles são questionados sobre o que os confundiu, e Nadia observa uma sessão para ver onde hesitam. Seus logs são guardados à parte e não entram em nenhum efeito relatado. Os analistas do piloto também cronometram cada sessão, e foi assim que se descobriu a duração de 70 minutos para 40 alertas.

4.5 O que o piloto encontrou

Os analistas não notaram o campo de criticidade do ativo porque ele ficava na parte de baixo do cartão; o log não registrava as mudanças de disposição; 40 alertas levaram 70 minutos, causando fadiga. Nadia move os campos de contexto para perto do topo, corrige o log e divide os 40 alertas em duas sessões de 20 com um intervalo de 15 minutos. Cada mudança consta do registro de mudanças v1.1 antes do início do estudo principal. A constatação sobre a fadiga importa para a validade: analistas cansados erram mais no fim de uma sessão, o que poderia enviesar a condição que viesse em segundo lugar.

4.6 Dados do piloto

Os resultados do piloto não são usados para estimar efeitos; eles testam o procedimento. Isso consta do registro. Usar os dados do piloto para estimativas misturaria o teste de procedimento com a medição de resultados, e os cartões do piloto diferiam dos finais depois da mudança de leiaute. Mantê-los separados significa que os resultados principais vêm apenas do desenho registrado. Ainda assim, Nadia relata o que o piloto revelou sobre o procedimento, porque isso explica por que os cartões finais têm a aparência que têm. O plano registrado afirma que os logs do piloto ficam fora de toda estimativa relatada, para que os examinadores possam conferir isso no arquivo.

Exemplo resolvido

Registro de mudanças do protocolo de Nadia: "v1.1 — campos de contexto movidos para cima do evento bruto; registro de mudanças de disposição acrescentado; sessões divididas em 2 × 20 alertas com intervalo de 15 minutos; alerta 17 reescrito após discordância de rótulo."

Caso sintético. Os rótulos vêm do script do laboratório.

Erros e limites

O kappa depende da prevalência; com rótulos muito desbalanceados, uma concordância alta ainda pode gerar um kappa baixo.

Exercícios

Síntese

Replique a linha de base, verifique a confiabilidade dos rótulos, teste os procedimentos num piloto e revise com transparência antes do estudo principal.

Continue estudando — capítulo 04 de 08

← Capítulo 03 (rascunho) · Índice de capítulos do curso · Capítulo 05 (rascunho) →

Respostas comentadas

EX021. Se a linha de base não se comportar como a triagem real, uma diferença causada pelo enriquecimento não pode ser interpretada.

EX022. Concordância observada 0.90, concordância ao acaso 0.625, kappa 0.73.

EX023. Concordância substancial, a faixa de 0.61 a 0.80.

EX024. As duas foram discutidas; um rótulo foi corrigido e o outro alerta foi reescrito para eliminar a ambiguidade.

EX025. O campo de criticidade passava despercebido (movido para o topo), o log não registrava as disposições alteradas (corrigido) e as sessões de 40 alertas causavam fadiga (divididas em duas, com intervalo).

EX026. Quando um rótulo é muito mais raro que o outro, a concordância ao acaso é alta, então o kappa pode ser baixo mesmo quando os avaliadores concordam na maior parte.