◇ OpenCyber Academy
Mestrado · Capítulo 5 · Português

Capítulo 5 — Proposta e piloto

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 5 — Proposta e piloto

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX027.

flowchart TD
  N0["5.1 Propósito do piloto"]
  N1["5.2 O laboratório dos cliques"]
  N2["Laboratório — Cliques de pré-carregamento do scanner"]
  N3["5.3 Conferindo a regra"]
  N4["5.4 Refinando a proposta"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX027"]

Desenho lógico

flowchart LR
  N0["5.1 Propósito do piloto"]
  N1["5.2 O laboratório dos cliques"]
  N2["Laboratório — Cliques de pré-carregamento do scanner"]
  N3["5.3 Conferindo a regra"]
  N4["5.4 Refinando a proposta"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX027"]

[5.1 Propósito do piloto]
    |
    v
[5.2 O laboratório dos cliques]
    |
    v
[Laboratório — Cliques de pré-carregamento do scanner]
    |
    v
[5.3 Conferindo a regra]
    |
    v
[5.4 Refinando a proposta]
    |
    v
[Exemplo resolvido] --> [Exercício EX027]

Objetivos de aprendizagem

Você vai (1) pilotar uma medida de desfecho antes da coleta principal; (2) detectar atividade automatizada que contamina as métricas de segurança; (3) refinar uma proposta a partir das evidências do piloto.

5.1 Propósito do piloto

Antes da coleta de dados principal, Priya pilota sua medida de desfecho numa simulação anterior. Ela quer saber se um clique registrado pela plataforma de simulação significa de fato que uma pessoa clicou. O Dr. Bello lembra que muitos gateways de segurança de e-mail abrem os links automaticamente para verificar se têm conteúdo malicioso, e que essa atividade do scanner pode aparecer nos logs como cliques. Se o piloto encontrar isso, seu desfecho vai precisar de uma regra de correção antes do início do estudo principal. A equipe de segurança fornece uma exportação anonimizada de um trimestre anterior.

5.2 O laboratório dos cliques

O laboratório do piloto monta um log sintético para 1.200 funcionários, registrando os segundos entre a entrega e qualquer clique. Ele encontra 239 cliques brutos, uma taxa de 19,9 por cento. Desses, 77 ocorrem em até dois segundos após a entrega, muito mais rápido do que uma pessoa conseguiria ler um e-mail, e são atribuídos ao scanner. Removê-los deixa 162 cliques humanos, 13,5 por cento. O número bruto teria exagerado os cliques em mais de seis pontos percentuais. Priya mostra à equipe de segurança um gráfico que compara as taxas bruta e humana. A equipe vinha relatando números brutos à diretoria havia dois anos e concorda que a correção importa.

Laboratório — Cliques de pré-carregamento do scanner separados dos cliques humanos num log sintético de simulação

"""Separate scanner pre-fetch clicks from human clicks in a synthetic phishing simulation log (stdlib only)."""
import random
random.seed(41)
rows = []
for staff in range(1200):
    sec = None
    r = random.random()
    if r < 0.07:
        sec = random.uniform(0.2, 1.8)          # mail scanner opens the link almost at once
    elif r < 0.21:
        sec = random.uniform(30, 86400)        # a person clicks later
    rows.append((staff, sec))
clicked = [s for s in rows if s[1] is not None]
auto = [s for s in clicked if s[1] < 2]
human = len(clicked) - len(auto)
print(f"staff {len(rows)}; raw clicks {len(clicked)} ({len(clicked)/len(rows):.1%})")
print(f"clicks within 2 s (scanner) {len(auto)}; human clicks {human} ({human/len(rows):.1%})")

Execute com python3 lab_clicks.py. Saída verificada:

staff 1200; raw clicks 239 (19.9%)
clicks within 2 s (scanner) 77; human clicks 162 (13.5%)

5.3 Conferindo a regra

Um limiar de dois segundos é um julgamento, então Priya o confere. Ela pergunta aos administradores de e-mail se o gateway varre os links, e eles confirmam que sim e que as varreduras vêm de endereços conhecidos. Casar pelos endereços seria melhor do que pelo tempo, mas a plataforma não guarda os endereços na exportação que ela recebe. Ela mantém a regra do tempo, relata-a como limitação e testa se mudar o limiar para cinco segundos altera as conclusões na análise principal. O Dr. Bello concorda que a abordagem é razoável para um estudo de mestrado.

5.4 Refinando a proposta

A partir do piloto, Priya atualiza sua proposta: o desfecho primário passa a ser a taxa de cliques humanos, excluindo os cliques em até dois segundos; as taxas de relato são medidas a partir dos logs do botão de relato; e as simulações usam modelos variados. Ela acrescenta uma frase explicando que os números não ajustados das plataformas, às vezes citados em relatórios de fornecedores, podem exagerar o risco. O Dr. Bello aprova a mudança e confirma que ela ocorreu antes da coleta de dados principal, então continua fazendo parte do plano pré-registrado. A proposta revisada é enviada à equipe de segurança e ao comitê de ética, que confirma que a mudança não precisa de nova aprovação.

Exemplo resolvido

Priya pilota a medida de cliques, descobre que 77 de 239 cliques são atividade do scanner em até dois segundos, redefine o desfecho como taxa de cliques humanos (13,5 por cento em vez de 19,9 por cento) e atualiza seu plano.

Caso sintético. Os dados do log são sintéticos; as saídas vêm de lab_clicks.py.

Erros e limites

Contar cliques do scanner como cliques humanos infla o risco medido.

Exercícios

Continue estudando — aula 05 (capítulo 05 de 08)

← Capítulo 04 · Índice das aulas · Capítulo 06 →

Continue para a próxima aula já escrita.