Capítulo 4 — Fatores humanos e política cibernética: explicações concorrentes

Mapa da aula

Aula 04 publicada. Mapa, exemplo, EX021.

flowchart TD
  N0["4.1 Explicações possíveis"]
  N1["4.2 Verificações para cada uma"]
  N2["Laboratório — Série temporal interrompida das redefi"]
  N3["4.3 O que as verificações mostram"]
  N4["4.4 Decidir o que é sustentado"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX021"]

Desenho lógico

flowchart LR
  N0["4.1 Explicações possíveis"]
  N1["4.2 Verificações para cada uma"]
  N2["Laboratório — Série temporal interrompida das redefi"]
  N3["4.3 O que as verificações mostram"]
  N4["4.4 Decidir o que é sustentado"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX021"]

[4.1 Explicações possíveis]
    |
    v
[4.2 Verificações para cada uma]
    |
    v
[Laboratório — Série temporal interrompida das redefi]
    |
    v
[4.3 O que as verificações mostram]
    |
    v
[4.4 Decidir o que é sustentado]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX021]

Objetivos de aprendizagem

Você vai (1) listar explicações para uma mudança nas contagens de redefinições; (2) desenhar verificações para cada uma; (3) decidir o que a evidência sustenta.

4.1 Explicações possíveis

Os primeiros dados mostram que as redefinições de senha caíram depois da mudança de política. O Dr. Nakamura pede a Sofia que liste todas as explicações plausíveis antes de declarar sucesso. As redefinições podem ter caído porque as trocas obrigatórias acabaram; porque o gerenciador de senhas ajudou as pessoas a lembrar; porque uma nova ferramenta de autoatendimento desviou pedidos do service desk; porque o quadro de pessoal diminuiu no verão; ou porque o service desk mudou a forma de registrar os chamados. Listar explicações impede que ela aceite a primeira história que combina com suas esperanças. Ela escreve cada explicação em uma linha separada de uma tabela, para associar a cada uma delas uma verificação específica e o respectivo resultado.

4.2 Verificações para cada uma

Sofia desenha uma verificação para cada explicação. Para o autoatendimento, obtém as contagens de redefinições por autoatendimento e as soma às do service desk. Para o quadro de pessoal, divide as redefinições pelo número de contas ativas. Para as mudanças de registro, lê o log de mudanças do service desk e entrevista o líder do service desk. Para os efeitos sazonais, compara os mesmos meses do ano anterior. Para o gerenciador de senhas, compara departamentos com adoção alta e baixa do gerenciador. Cada verificação mira diretamente uma explicação, em vez de depender de uma impressão geral sobre os dados.

Laboratório — Série temporal interrompida das redefinições mensais por 1.000 contas

# Interrupted time series on resets per 1,000 accounts: 18 months before, 12 after (synthetic).
import random
random.seed(3)
y = [62 - 0.2 * t + random.gauss(0, 2) for t in range(18)] + [39 - 0.25 * (t - 18) + random.gauss(0, 2) for t in range(18, 30)]
def fit(xs, ys):
    n = len(xs); mx = sum(xs) / n; my = sum(ys) / n
    b = sum((x - mx) * (v - my) for x, v in zip(xs, ys)) / sum((x - mx) ** 2 for x in xs)
    return my - b * mx, b
a0, b0 = fit(range(18), y[:18]); a1, b1 = fit(range(18, 30), y[18:])
pred = a0 + b0 * 18; obs = a1 + b1 * 18
print(f"before: level at month 18 predicted {pred:.1f}, slope {b0:+.2f}/month")
print(f"after: level at month 18 fitted {obs:.1f}, slope {b1:+.2f}/month")
print(f"level change {obs - pred:+.1f} per 1,000 accounts; slope change {b1 - b0:+.2f}")

Execute com python3 lab_its.py. Saída verificada:

before: level at month 18 predicted 56.9, slope -0.37/month
after: level at month 18 fitted 38.1, slope -0.27/month
level change -18.8 per 1,000 accounts; slope change +0.09

4.3 O que as verificações mostram

As redefinições por autoatendimento respondem por parte da queda, mas não por toda ela: o total de redefinições por mil contas ainda cai depois da mudança. As mudanças no quadro de pessoal são pequenas. A mudança na forma de registro do service desk aconteceu quatro meses depois, então não pode explicar a queda imediata. O laboratório estima uma queda de nível no ponto da mudança, com pouca alteração na tendência. Departamentos com maior adoção do gerenciador mostram quedas um pouco maiores, o que é compatível com um efeito do gerenciador, mas não o prova, já que quem adota pode diferir de outras maneiras.

4.4 Decidir o que é sustentado

Sofia escreve sua conclusão em níveis de confiança. Fortemente sustentado: o total de redefinições por mil contas caiu no ponto da mudança. Moderadamente sustentado: o fim das trocas obrigatórias contribuiu, já que o momento coincide e as alternativas foram em grande parte descartadas. Fracamente sustentado: o gerenciador de senhas contribuiu. Não testado: se a segurança melhorou. O Dr. Nakamura elogia a estrutura e observa que ordenar as explicações pela evidência é mais honesto e mais útil para quem formula políticas do que uma única causa afirmada com falsa certeza. Ela apresenta os quatro níveis em uma tabela curta no capítulo de discussão, para que os leitores vejam de relance quão sustentada está cada afirmação.

Exemplo resolvido

Sofia lista cinco explicações para a queda das redefinições, desenha verificações específicas, executa uma série temporal interrompida e ordena as conclusões por grau de confiança.

Caso sintético. Os dados e os departamentos são sintéticos.

Erros e limites

Comparações entre departamentos são confundidas pelas escolhas de adoção. Séries temporais precisam de pontos suficientes antes e depois.

Exercícios

• EX021 — Lista de explicações. Cite três explicações para a queda das redefinições.
  Mostrar critérios de avaliação

  Rubrica: 3 = fim das trocas obrigatórias, gerenciador de senhas, autoatendimento, quadro de pessoal, mudança de registro;; 2 = duas;; 1 = vago;; 0 = nenhuma.
• EX022 — Verificação do autoatendimento. Como Sofia tratou a ferramenta de autoatendimento?
  Mostrar critérios de avaliação

  Rubrica: 3 = somou as contagens de autoatendimento às do service desk;; 2 = combinar;; 1 = ignorar;; 0 = nenhuma.
• EX023 — Verificação do quadro de pessoal. Como ela controlou as mudanças no quadro de pessoal?
  Mostrar critérios de avaliação

  Rubrica: 3 = dividiu as redefinições pelas contas ativas;; 2 = taxa;; 1 = vago;; 0 = nenhuma.
• EX024 — Mudança de nível no laboratório. O que o laboratório estimou no ponto da mudança?
  Mostrar critérios de avaliação

  Rubrica: 3 = queda de nível de 18,8 redefinições por 1.000 contas, mudança de inclinação de +0,09;; 2 = queda de nível;; 1 = aumento;; 0 = nenhuma.
• EX025 — Momento do registro. Por que a mudança de registro não pode explicar a queda imediata?
  Mostrar critérios de avaliação

  Rubrica: 3 = aconteceu quatro meses depois;; 2 = momento;; 1 = vago;; 0 = nenhuma.
• EX026 — Afirmação mais fraca. Que explicação é apenas fracamente sustentada?
  Mostrar critérios de avaliação

  Rubrica: 3 = a de que o gerenciador de senhas contribuiu;; 2 = gerenciador;; 1 = trocas obrigatórias;; 0 = nenhuma.

Síntese

Listar e verificar explicações concorrentes permite que um estudo ordene as suas conclusões com honestidade pela força das evidências.