◇ OpenCyber Academy
Mestrado · Capítulo 6 · Português

Capítulo 6 — Coleta e análise de dados

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 6 — Coleta e análise de dados

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Coletando os dados"]
  N1["6.2 A estimativa"]
  N2["Laboratório — Diferença em diferenças das taxas de c"]
  N3["6.3 Conferindo as rivais"]
  N4["6.4 O que a estimativa significa"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Coletando os dados"]
  N1["6.2 A estimativa"]
  N2["Laboratório — Diferença em diferenças das taxas de c"]
  N3["6.3 Conferindo as rivais"]
  N4["6.4 O que a estimativa significa"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX033"]

[6.1 Coletando os dados]
    |
    v
[6.2 A estimativa]
    |
    v
[Laboratório — Diferença em diferenças das taxas de c]
    |
    v
[6.3 Conferindo as rivais]
    |
    v
[6.4 O que a estimativa significa]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) coletar os dados de desfecho sob um plano congelado; (2) estimar um efeito de diferença em diferenças com um intervalo bootstrap; (3) conferir as explicações rivais contra os dados.

6.1 Coletando os dados

Priya recebe registros pseudonimizados de cliques humanos de um trimestre antes e de um trimestre depois do início do feedback, tomando amostras de seiscentos funcionários de cada grupo em cada período. A equipe de segurança aplica a regra dos dois segundos antes da exportação, e Priya confere uma seleção aleatória de registros para confirmá-lo. Ela também recebe as contagens de relatos por departamento, os números de rotatividade e os registros de lembretes dos gerentes. Os dados ficam armazenados num drive cifrado da universidade, como a aprovação ética exige. Priya registra a data de cada extrato que recebe da equipe.

6.2 A estimativa

O laboratório mostra as taxas de cliques dos departamentos com feedback caindo de 15,8 para 6,7 por cento, enquanto as dos departamentos de comparação caem de 14,0 para 11,0 por cento. A diferença em diferenças é de menos 6,2 pontos percentuais, com um intervalo bootstrap de 95 por cento de menos 10,7 a menos 1,2. O intervalo exclui o zero, então os dados sustentam uma redução maior que a mudança compartilhada. O intervalo é amplo, porém, o que significa que o efeito verdadeiro poderia ser tão pequeno quanto cerca de um ponto percentual. Priya relata juntos a estimativa pontual e os dois limites do intervalo, para que os leitores vejam a incerteza ao lado do efeito. Ela não arredonda o limite superior para longe do zero.

Laboratório — Diferença em diferenças das taxas de cliques em simulações de phishing com intervalo bootstrap

"""Difference-in-differences of phishing-simulation click rates with a bootstrap interval (stdlib only)."""
import random
random.seed(17)
def grp(n, p): return [1 if random.random() < p else 0 for _ in range(n)]
t_pre, t_post = grp(600, 0.16), grp(600, 0.08)   # departments with just-in-time feedback
c_pre, c_post = grp(600, 0.15), grp(600, 0.13)   # departments with annual training only
m = lambda x: sum(x) / len(x)
did = (m(t_post) - m(t_pre)) - (m(c_post) - m(c_pre))
bs = []
for _ in range(1000):
    r = lambda x: [random.choice(x) for _ in x]
    bs.append((m(r(t_post)) - m(r(t_pre))) - (m(r(c_post)) - m(r(c_pre))))
bs.sort()
print(f"click rates: feedback {m(t_pre):.1%} -> {m(t_post):.1%}; comparison {m(c_pre):.1%} -> {m(c_post):.1%}")
print(f"difference-in-differences {did*100:.1f} points; 95% bootstrap CI {bs[25]*100:.1f} to {bs[974]*100:.1f}")

Execute com python3 lab_did.py. Saída verificada:

click rates: feedback 15.8% -> 6.7%; comparison 14.0% -> 11.0%
difference-in-differences -6.2 points; 95% bootstrap CI -10.7 to -1.2

6.3 Conferindo as rivais

Os modelos variaram, e a queda aparece tanto nos modelos novos quanto nos conhecidos, o que enfraquece a rival do aprendizado dos modelos. As regras de filtragem foram idênticas. A rotatividade foi semelhante nos dois grupos. Os registros de lembretes dos gerentes mostram um pouco mais de mensagens nos departamentos com feedback, então parte do efeito poderia refletir atenção, e não o feedback, o que Priya relata. As taxas de relato não caíram nos departamentos com feedback; subiram um pouco, então o efeito colateral do constrangimento não aparece. Mudar o limiar para cinco segundos deixa as conclusões inalteradas. Ela tabula cada verificação.

6.4 O que a estimativa significa

Priya interpreta o resultado com cuidado: neste cenário sintético, os departamentos com feedback reduziram os cliques humanos em cerca de seis pontos percentuais a mais que os departamentos de comparação, com incerteza considerável. Ela não afirma que o feedback previne violações, porque os cliques em simulações são um indicador indireto do comportamento real, e os atacantes reais se adaptam. O Dr. Bello lembra que uma única organização ao longo de dois trimestres não pode mostrar que o efeito persiste. Ela escreve esses pontos logo ao lado da estimativa, e não numa seção de limitações distante. Priya também observa que os resultados poderiam ser diferentes em organizações maiores.

Exemplo resolvido

Priya estima uma diferença em diferenças de menos 6,2 pontos (intervalo de menos 10,7 a menos 1,2), não encontra queda nos relatos, anota a preocupação com os lembretes dos gerentes e declara os limites do indicador indireto ao lado da estimativa.

Caso sintético. Os registros são sintéticos; as saídas vêm de lab_did.py.

Erros e limites

Tratar uma taxa de cliques em simulação como taxa de violações exagera o achado.

Exercícios

Continue estudando — aula 06 (capítulo 06 de 08)

← Capítulo 05 · Índice das aulas · Capítulo 07 →

Continue para a próxima aula já escrita.