Capítulo 6 — Coleta e análise de dados

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Resultado principal"]
  N1["6.2 Dentro dos estratos"]
  N2["6.3 Qualidade e segurança"]
  N3["6.4 O que continua incerto"]
  N4["Laboratório — Diferença por bootstrap e taxas estrat"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Resultado principal"]
  N1["6.2 Dentro dos estratos"]
  N2["6.3 Qualidade e segurança"]
  N3["6.4 O que continua incerto"]
  N4["Laboratório — Diferença por bootstrap e taxas estrat"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX033"]

[6.1 Resultado principal]
    |
    v
[6.2 Dentro dos estratos]
    |
    v
[6.3 Qualidade e segurança]
    |
    v
[6.4 O que continua incerto]
    |
    v
[Laboratório — Diferença por bootstrap e taxas estrat]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) estimar uma diferença de proporções com um intervalo por bootstrap; (2) estratificar por um fator de confusão; (3) interpretar os resultados à luz da regra fixada de antemão.

6.1 Resultado principal

Depois de seis meses, Hana executa a análise sobre 240 pedidos por período, reproduzida aqui com dados sintéticos. A conclusão dentro do prazo sobe de 0,708 para 0,929, uma diferença de 0,221. Um bootstrap com 4.000 reamostragens, segundo Efron e Tibshirani (1994), dá um intervalo de 95% de 0,154 a 0,287. O intervalo exclui o zero com folga. Mas a composição dos pedidos também mudou: os pedidos complexos caíram de 33% do total para 17%, exatamente a concorrente que ela previu no Capítulo 4, então a diferença principal não pode ser lida, sozinha, como o efeito do portal.

6.2 Dentro dos estratos

Por isso, Hana olha dentro dos grupos. Os pedidos simples melhoram de 0,800 para 0,960, uma diferença de 0,160. Os pedidos complexos melhoram de 0,525 para 0,780, uma diferença de 0,255. Os dois grupos melhoram, então o efeito do portal não é apenas uma mudança na composição, embora parte da diferença principal venha da composição. Ela informa os resultados gerais e estratificados na mesma tabela, com os números estratificados primeiro, para que os leitores não tomem o número geral, maior, como o efeito do portal e não possam citá-lo sem ver a ressalva.

6.3 Qualidade e segurança

A revisão de completude constata que 38 das 40 respostas da amostra cumpriram a lista do artigo 15 depois do lançamento, contra 35 de 40 antes, então a qualidade não caiu. Nenhuma divulgação a pessoa errada foi registrada em nenhum dos períodos. Os registros de pessoal não mostram mudança. Aplicando a regra fixada de antemão, Hana conclui que o portal conta como melhora. Ela tem o cuidado de acrescentar que a amostra de revisão é pequena e que uma única divulgação a pessoa errada no futuro mudaria a avaliação, por isso o desfecho de segurança precisa continuar sendo monitorado depois da dissertação e ter um responsável na Brookfield.

6.4 O que continua incerto

Hana lista o que seus dados não conseguem mostrar. O estudo cobre uma empresa e um ano; o portal foi lançado junto com uma reformulação do site que pode ter empurrado os clientes para os canais on-line; e o intervalo por bootstrap reflete a variação amostral, não as fraquezas do desenho. Ela escreve que o portal está associado a uma melhora substancial tanto nos pedidos simples quanto nos complexos, e que a explicação mais provável é o portal, com a reformulação do site como concorrente remanescente. O Dr. Pritchard elogia a frase porque ela diz exatamente o quanto a evidência permite.

Laboratório — Diferença por bootstrap e taxas estratificadas

# Before/after on-time rates with a bootstrap 95% interval, overall and within simple vs complex requests.
import random
r = random.Random(9)
def period(n, p_simple, p_complex, share_complex):
    out = []
    for _ in range(n):
        cx = r.random() < share_complex
        out.append((cx, r.random() < (p_complex if cx else p_simple)))
    return out
before = period(240, 0.82, 0.55, 0.30); after = period(240, 0.95, 0.70, 0.15)
rate = lambda s: sum(ok for _, ok in s) / len(s)
def boot(a, b, k=4000):
    d = sorted(rate(r.choices(b, k=len(b))) - rate(r.choices(a, k=len(a))) for _ in range(k))
    return d[int(0.025 * k)], d[int(0.975 * k)]
lo, hi = boot(before, after)
print(f"overall on-time {rate(before):.3f} -> {rate(after):.3f}; difference {rate(after)-rate(before):.3f} (95% CI {lo:.3f} to {hi:.3f})")
print(f"complex share {sum(c for c, _ in before)/240:.2f} -> {sum(c for c, _ in after)/240:.2f}")
for cx, name in [(False, "simple"), (True, "complex")]:
    a = [x for x in before if x[0] == cx]; b = [x for x in after if x[0] == cx]
    print(f"{name:7s} {rate(a):.3f} -> {rate(b):.3f}; difference {rate(b)-rate(a):.3f}")

Execute com python3 lab_diff.py. Saída verificada:

overall on-time 0.708 -> 0.929; difference 0.221 (95% CI 0.154 to 0.287)
complex share 0.33 -> 0.17
simple  0.800 -> 0.960; difference 0.160
complex 0.525 -> 0.780; difference 0.255

Exemplo resolvido

Hana informa que a conclusão dentro do prazo subiu de 0,708 para 0,929 (diferença de 0,221, intervalo de 95% de 0,154 a 0,287), mostra melhora dentro dos pedidos simples (0,160) e complexos (0,255) e confirma que a completude e a segurança não pioraram.

Caso sintético. Todas as taxas são sintéticas; Efron e Tibshirani (1994) é real.

Erros e limites

Os intervalos por bootstrap presumem pedidos independentes e não cobrem o viés do desenho. Estratificar por um fator de confusão deixa os demais.

Exercícios

• EX033 — Intervalo por bootstrap. Que intervalo de 95% o bootstrap deu para a diferença geral?
  Mostrar critérios de avaliação

  Rubrica: 3 = de 0,154 a 0,287;; 2 = cerca de 0,15 a 0,29;; 1 = errado;; 0 = nenhuma.
• EX034 — Mudança de composição. Como mudou a parcela de complexos, e por que isso importa?
  Mostrar critérios de avaliação

  Rubrica: 3 = de 33% para 17%; parte do ganho pode vir de pedidos mais fáceis;; 2 = dá só os números;; 1 = ignora;; 0 = nenhuma.
• EX035 — Estrato complexo. O que aconteceu com a conclusão dentro do prazo nos pedidos complexos?
  Mostrar critérios de avaliação

  Rubrica: 3 = de 0,525 para 0,780, diferença de 0,255;; 2 = só a direção;; 1 = errado;; 0 = nenhuma.
• EX036 — Regra aplicada. O portal cumpre a regra fixada de antemão, e por quê?
  Mostrar critérios de avaliação

  Rubrica: 3 = sim; o tempo melhorou, completude 38/40 contra 35/40, nenhuma divulgação a pessoa errada;; 2 = sim, sem evidência;; 1 = não;; 0 = nenhuma.
• EX037 — Limites do intervalo. O que o intervalo por bootstrap não capta?
  Mostrar critérios de avaliação

  Rubrica: 3 = fraquezas do desenho, como a concorrente da reformulação do site;; 2 = menciona viés;; 1 = diz que capta toda a incerteza;; 0 = nenhuma.
• EX038 — Ordem de apresentação. Por que apresentar primeiro os resultados estratificados?
  Mostrar critérios de avaliação

  Rubrica: 3 = o número geral exagera o efeito do portal por causa da mudança de composição;; 2 = menciona clareza;; 1 = coloca o geral primeiro;; 0 = nenhuma.

Síntese

O capítulo 6 produz um resultado delimitado e estratificado. O capítulo 7 o redige com limitações honestas.