Capítulo 5 — Fatores humanos e política cibernética: ferramentas e interpretação

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX021.

flowchart TD
  N0["5.1 Ferramentas simples"]
  N1["5.2 Interpretação das medidas"]
  N2["Laboratório — Mediana do tempo até o veredito antes"]
  N3["5.3 Comparações enganosas"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX021"]

Desenho lógico

flowchart LR
  N0["5.1 Ferramentas simples"]
  N1["5.2 Interpretação das medidas"]
  N2["Laboratório — Mediana do tempo até o veredito antes"]
  N3["5.3 Comparações enganosas"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX021"]

[5.1 Ferramentas simples]
    |
    v
[5.2 Interpretação das medidas]
    |
    v
[Laboratório — Mediana do tempo até o veredito antes]
    |
    v
[5.3 Comparações enganosas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX021]

Objetivos de aprendizagem

Você vai (1) usar ferramentas simples para acompanhar reportes e vereditos; (2) interpretar corretamente medidas básicas; (3) evitar comparações enganosas.

5.1 Ferramentas simples

Grace usa uma planilha e um script curto em Python fornecido pelo curso para acompanhar os reportes. Cada linha guarda a data, a equipe, a categoria, o veredito e a hora em que o veredito foi enviado, sem nomes de quem reportou. O script calcula as contagens mensais, a proporção de reportes que eram maliciosos e a mediana do tempo até o veredito. Ela aprende a conferir a saída do script com algumas linhas contadas à mão, o que lhe dá confiança de que a ferramenta funciona corretamente antes de compartilhar os números com os gestores.

5.2 Interpretação das medidas

Grace aprende a interpretar as medidas com cuidado. Um aumento nos reportes pode significar mais ataques ou mais disposição para reportar; ela confere os logs do filtro do fornecedor de TI para saber qual. Uma proporção baixa de reportes maliciosos pode significar que os funcionários reportam demais, mas Alan explica que o excesso de reportes é um sinal saudável num programa novo, porque mostra que as pessoas se sentem seguras para perguntar. O laboratório calcula a mediana do tempo até o veredito antes e depois de as respostas passarem a usar modelos, mostrando uma grande melhora. Ela registra as duas verificações.

Laboratório — Mediana do tempo até o veredito antes e depois dos modelos

# Median hours to verdict before and after templated replies (synthetic).
before = [4, 9, 18, 22, 26, 30, 41, 48, 70]; after = [0.5, 1, 1.5, 2, 3, 3.5, 5, 6, 20]
m = lambda x: sorted(x)[len(x) // 2]
print(f"before: median {m(before)} h; after: median {m(after)} h")

Execute com python3 lab_verdict.py. Saída verificada:

before: median 26 h; after: median 3 h

5.3 Comparações enganosas

Grace evita comparações que induzem a erro. Ela não ranqueia as equipes pela contagem de reportes, porque o tamanho e a exposição das equipes são diferentes, e os rankings envergonhariam alguns grupos. Ela só divulga números de grupos com pelo menos vinte funcionários. Mostra as mudanças ao longo do tempo com o número de casos por trás de cada número. Quando um gestor pergunta qual equipe é a pior, ela explica por que essa pergunta não pode ser respondida de forma justa com os dados e oferece uma pergunta mais útil: onde as pessoas precisam de mais apoio?

Exemplo resolvido

Grace acompanha os reportes com uma planilha e um script, interpreta corretamente os aumentos e o excesso de reportes e evita rankings injustos entre equipes.

Caso sintético. Os dados são sintéticos.

Erros e limites

Números pequenos variam. Os scripts precisam ser conferidos depois de mudanças.

Exercícios

• EX021 — Conferência manual. Por que conferir à mão a saída do script?

  Mostrar critérios de avaliação

  Rubrica: 3 = para confirmar que a ferramenta funciona antes de compartilhar;; 2 = verificação;; 1 = vago;; 0 = nenhuma.

• EX022 — Aumento dos reportes. Que duas coisas um aumento nos reportes pode significar?

  Mostrar critérios de avaliação

  Rubrica: 3 = mais ataques ou mais disposição;; 2 = duas causas;; 1 = vago;; 0 = nenhuma.

• EX023 — Excesso de reportes. Como Alan vê o excesso de reportes num programa novo?

  Mostrar critérios de avaliação

  Rubrica: 3 = como sinal saudável de que as pessoas se sentem seguras;; 2 = saudável;; 1 = problema;; 0 = nenhuma.

• EX024 — Tempos de veredito no laboratório. Como mudou a mediana do tempo até o veredito com os modelos?

  Mostrar critérios de avaliação

  Rubrica: 3 = 26 horas antes e 3 horas depois dos modelos;; 2 = mais rápido;; 1 = vago;; 0 = nenhuma.

• EX025 — Pergunta melhor. Que pergunta Grace ofereceu no lugar de qual equipe é a pior?

  Mostrar critérios de avaliação

  Rubrica: 3 = onde as pessoas precisam de mais apoio;; 2 = apoio;; 1 = vago;; 0 = nenhuma.

Síntese

Ferramentas simples fornecem medidas úteis quando interpretadas com cuidado e de forma justa.