Capítulo 9 — Evidências e medição

Mapa da aula

Aula 09 publicada. Mapa, exemplo, EX025.

flowchart TD
  N0["9.1 Escolher as medidas"]
  N1["9.2 Calcular os tempos"]
  N2["Laboratório — Mediana do tempo até o primeiro report"]
  N3["9.3 Apresentação justa"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX025"]

Desenho lógico

flowchart LR
  N0["9.1 Escolher as medidas"]
  N1["9.2 Calcular os tempos"]
  N2["Laboratório — Mediana do tempo até o primeiro report"]
  N3["9.3 Apresentação justa"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX025"]

[9.1 Escolher as medidas]
    |
    v
[9.2 Calcular os tempos]
    |
    v
[Laboratório — Mediana do tempo até o primeiro report]
    |
    v
[9.3 Apresentação justa]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX025]

Objetivos de aprendizagem

Você vai (1) escolher medidas para um serviço de reportes; (2) calcular o tempo até o primeiro reporte e o tempo até o veredito; (3) apresentar as medidas de forma justa.

9.1 Escolher as medidas

Lucas e a gerente do consultório escolhem as medidas para os reportes da Brightwell: a proporção de e-mails maliciosos reportados por pelo menos uma pessoa, o tempo da chegada até o primeiro reporte, o tempo do reporte até o veredito e o ônus para os funcionários, medido por uma pergunta trimestral curta. Eles evitam ordenar as clínicas por taxas de clique em simulações, porque os rankings constrangem os funcionários e as taxas de clique dependem muito da dificuldade do e-mail simulado. As medidas devem ajudar a melhorar o serviço, e não julgar indivíduos. Cada medida tem uma definição escrita curta.

9.2 Calcular os tempos

Lucas usa o modelo de dados do capítulo 4 para calcular os tempos de um mês de e-mails maliciosos sintéticos. Para cada agrupamento, encontra o primeiro reporte e o horário do veredito. O laboratório imprime a mediana do tempo até o primeiro reporte e a mediana do tempo até o veredito. Ele descobre que os reportes costumam chegar rapidamente, mas os vereditos são lentos, porque o prestador de TI confere a caixa postal só duas vezes por dia. Isso aponta para uma correção prática: notificações de novos reportes. Ele compartilha o resultado com o prestador.

Laboratório — Mediana do tempo até o primeiro reporte e até o veredito

# Median minutes: arrival to first report, and report to verdict (synthetic month).
first = [3, 5, 6, 8, 9, 11, 14, 18, 25, 40, 55]
verdict = [60, 95, 120, 150, 170, 190, 210, 260, 300, 340, 420]
m = lambda x: sorted(x)[len(x) // 2]
print(f"emails {len(first)}; median to first report {m(first)} min; median report to verdict {m(verdict)} min")

Execute com python3 lab_times.py. Saída verificada:

emails 11; median to first report 11 min; median report to verdict 190 min

9.3 Apresentação justa

Lucas apresenta as medidas por grupos de clínicas com pelo menos vinte funcionários, e não por indivíduo ou por clínica pequena. Mostra as medianas com o número de e-mails por trás delas. Explica aos gestores que um mês de dados é ruidoso e que as tendências importam mais do que valores isolados. Uma apresentação justa protege a privacidade dos funcionários e ajuda os gestores a tirar conclusões sensatas, em vez de reagir a variações aleatórias. Ele também mostra o mesmo resumo aos funcionários na reunião mensal, para que todos vejam os mesmos números que os gestores e possam fazer perguntas sobre eles.

Exemplo resolvido

Lucas seleciona medidas de reporte, calcula medianas que mostram vereditos lentos e apresenta resultados agrupados e atentos ao ruído.

Caso sintético. Os dados são sintéticos.

Erros e limites

E-mails não reportados ficam de fora. As amostras mensais são pequenas.

Exercícios

• EX025 — Ranking evitado. Por que evitar rankings de clínicas por taxa de clique?
  Mostrar critérios de avaliação

  Rubrica: 3 = constrangem os funcionários e dependem da dificuldade;; 2 = justiça;; 1 = vago;; 0 = nenhuma.
• EX026 — Medianas no laboratório. Que medianas o laboratório calculou?
  Mostrar critérios de avaliação

  Rubrica: 3 = 11 minutos até o reporte e 190 minutos até o veredito;; 2 = veredito lento;; 1 = vago;; 0 = nenhuma.
• EX027 — Correção do veredito. Que correção o veredito lento sugere?
  Mostrar critérios de avaliação

  Rubrica: 3 = notificações de novos reportes;; 2 = alertas;; 1 = vago;; 0 = nenhuma.

Síntese

Boas medidas focam a velocidade do reporte e do veredito e são apresentadas de forma justa.