Capítulo 6 — Fatores humanos e política cibernética: avaliação controlada
Mapa da aula
Aula 06 publicada. Mapa, exemplo, EX026.
flowchart TD
N0["6.1 Desenhar a avaliação"]
N1["6.2 Análise dentro de cada mês"]
N2["Laboratório — Análise da implantação escalonada com"]
N3["6.3 Restrições éticas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX026"]
Desenho lógico
flowchart LR
N0["6.1 Desenhar a avaliação"]
N1["6.2 Análise dentro de cada mês"]
N2["Laboratório — Análise da implantação escalonada com"]
N3["6.3 Restrições éticas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX026"]
[6.1 Desenhar a avaliação]
|
v
[6.2 Análise dentro de cada mês]
|
v
[Laboratório — Análise da implantação escalonada com]
|
v
[6.3 Restrições éticas]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX026]
Objetivos de aprendizagem
Você vai (1) desenhar uma avaliação controlada de uma mudança no programa; (2) analisar os resultados com testes adequados; (3) tratar as restrições éticas da avaliação.
6.1 Desenhar a avaliação
Daniel planeja avaliar as novas mensagens de retorno que informam a quem reportou, em até uma hora, se o reporte era malicioso. Ele usa uma implantação escalonada: seis escritórios começam no primeiro mês, seis no segundo e seis no terceiro, com a ordem sorteada. Todos os escritórios acabam recebendo a mudança, o que responde às preocupações com justiça. O resultado é a proporção de e-mails maliciosos reais reportados por pelo menos uma pessoa em cada escritório por mês, usando dados que o sistema de reportes já coleta, sem ônus adicional.
6.2 Análise dentro de cada mês
O laboratório compara escritórios-mês com e sem retorno, ajustando pelo mês ao comparar dentro de cada mês. Os escritórios com retorno mostram uma proporção maior de e-mails maliciosos reportados. Daniel calcula a diferença média dentro dos meses e a confere com um teste de permutação que embaralha quais escritórios tiveram retorno. A diferença observada é maior do que quase todas as diferenças embaralhadas. Ele relata a estimativa, o resultado da permutação e os limites, incluindo que os escritórios têm tamanhos diferentes e que o período é curto. A diferença é de cerca de 14 pontos.
Laboratório — Análise da implantação escalonada com teste de permutação
# Stepped rollout: 18 offices, start months 1-3 (6 each), 4 months of data (synthetic).
import random
r = random.Random(3)
start = [1] * 6 + [2] * 6 + [3] * 6; r.shuffle(start)
base = [r.uniform(0.45, 0.65) for _ in range(18)]
y = {(o, m): min(1, base[o] + 0.03 * m + (0.16 if m >= start[o] else 0) + r.gauss(0, 0.05)) for o in range(18) for m in range(4)}
def effect(st):
diffs = []
for m in range(1, 4):
t = [y[o, m] for o in range(18) if m >= st[o]]; c = [y[o, m] for o in range(18) if m < st[o]]
if t and c: diffs.append(sum(t) / len(t) - sum(c) / len(c))
return sum(diffs) / len(diffs)
obs = effect(start)
cnt = 0; N = 2000
for _ in range(N):
s = start[:]; r.shuffle(s); cnt += effect(s) >= obs
print(f"within-month difference {100 * obs:.1f} points; permutation share {cnt / N:.3f}")
Execute com python3 lab_stepped.py. Saída verificada:
within-month difference 14.4 points; permutation share 0.001
6.3 Restrições éticas
A avaliação usa dados existentes de forma agregada, por isso não é preciso consentimento individual de cada funcionário, mas Daniel informa os funcionários, pelo estatuto e pelos boletins internos, de que a mudança no retorno está sendo avaliada por escritório. A banca de governança aprova o plano. Nenhuma simulação faz parte da avaliação. Ele observa que uma avaliação que negasse indefinidamente a alguns escritórios um retorno útil seria injusta; o desenho escalonado limita o atraso a dois meses, o que a banca considera aceitável diante do conhecimento obtido.
Exemplo resolvido
Daniel avalia as mensagens de retorno com uma implantação escalonada e randomizada em dezoito escritórios, encontra uma diferença positiva dentro dos meses e documenta a aprovação ética.
Caso sintético. Os escritórios e os dados são sintéticos.
Erros e limites
Avaliações curtas não captam efeitos de longo prazo. Os escritórios diferem em exposição.
Exercícios
- EX026 — Ordem da implantação. Como foi escolhida a ordem da implantação? Rubrica: 3 = por sorteio;; 2 = aleatória;; 1 = por tamanho;; 0 = nenhuma.
- EX027 — Medida de resultado. Que resultado foi usado? Rubrica: 3 = proporção de e-mails maliciosos reportados por escritório por mês;; 2 = proporção reportada;; 1 = cliques;; 0 = nenhuma.
- EX028 — Estimativa no laboratório. Que diferença dentro dos meses o laboratório encontrou? Rubrica: 3 = cerca de 14,4 pontos, proporção da permutação 0,001;; 2 = positiva;; 1 = vago;; 0 = nenhuma.
- EX029 — Sem simulações. As simulações fizeram parte da avaliação? Rubrica: 3 = não; usou apenas e-mails reais reportados;; 2 = não, sem dizer o que foi usado;; 1 = sim;; 0 = sem resposta.
- EX030 — Atraso máximo. Qual foi o atraso máximo para qualquer escritório? Rubrica: 3 = dois meses;; 2 = 2;; 1 = vago;; 0 = nenhuma.
Síntese
Avaliações controladas podem ser justas, éticas e informativas quando a implantação é escalonada e randomizada.
Continue estudando — aula 06 (capítulo 06 de 12)
← Capítulo 05 · Índice das aulas · Capítulo 07 →
Continue para a próxima aula já escrita.