Capítulo 38 — Trabalho de conclusão II: resultados

Mapa da aula

Aula 38 publicada. Mapa, exemplo, EX112.

flowchart TD
  N0["38.1 Geração dos dados"]
  N1["38.2 Resultados"]
  N2["38.3 Robustez"]
  N3["38.4 Interpretação"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX112"]

Desenho lógico

flowchart LR
  N0["38.1 Geração dos dados"]
  N1["38.2 Resultados"]
  N2["38.3 Robustez"]
  N3["38.4 Interpretação"]
  N0 --> N1 --> N2 --> N3 --> Q["EX112"]

[38.1 Geração dos dados]
    |
    v
[38.2 Resultados]
    |
    v
[38.3 Robustez]
    |
    v
[38.4 Interpretação]
    |
    v
[Exemplo resolvido] --> [Exercício EX112]

Objetivos de aprendizagem

Você vai (1) realizar a análise planejada; (2) interpretar os efeitos com sua incerteza; (3) verificar a robustez.

38.1 Geração dos dados

Amara gera os dados sintéticos seguindo o plano. Cada loja tem uma taxa-base de lançamentos inválidos sorteada de uma faixa observada nas anotações do estágio, uma variação mensal e uma pequena melhora geral ao longo do tempo. As lojas com multiplicadores recebem uma redução adicional depois do sexto mês. Ela documenta cada parâmetro e fixa a semente aleatória. Ela explica que o efeito conhecido, embutido nos dados, permite aos leitores julgar se o método o recupera, o que é um teste do método, e não uma prova sobre lojas reais. Os parâmetros aparecem em um apêndice.

38.2 Resultados

Amara calcula as taxas de lançamentos inválidos antes e depois para os dois grupos. Ambos melhoram, refletindo a tendência geral, mas as lojas com multiplicadores melhoram mais. A estimativa de diferenças em diferenças fica próxima da redução que ela embutiu, e o intervalo por bootstrap exclui o zero. Ela informa a estimativa, o intervalo e o número de lojas. Ela evita afirmar que os multiplicadores funcionam na realidade, declarando que o método consegue detectar um efeito desse tamanho nessas condições. Ela apresenta os resultados em uma tabela e em um gráfico que mostram os dois grupos antes e depois.

38.3 Robustez

Ela verifica a robustez. As tendências anteriores à introdução são semelhantes nos dois grupos, o que sustenta o desenho. Retirar a loja com a maior taxa-base não muda as conclusões. Repetir a geração com sementes diferentes dá estimativas semelhantes. Ela testa também um cenário em que as lojas com multiplicadores já melhoravam mais rápido, e mostra que o método então superestimaria o efeito, ilustrando a ameaça de seleção que ela havia nomeado e explicando por que as tendências anteriores precisam ser verificadas. Amara relata no trabalho cada verificação de robustez, inclusive a que mostra como o método pode ser enganado por tendências anteriores diferentes.

38.4 Interpretação

Amara interpreta as constatações para os profissionais: se os multiplicadores produzirem efeitos semelhantes aos que ela simulou, uma comparação com vinte lojas conseguiria detectá-los; efeitos menores exigiriam mais lojas ou períodos mais longos. Ela sugere que a Harbourline introduza os multiplicadores em etapas, para permitir uma avaliação real. O Dr. Lindqvist elogia a distinção clara entre o que o estudo sintético mostra e o que continua desconhecido, observando que essa honestidade é essencial quando os estudos usam dados sintéticos. Amara escreve essas recomendações em uma seção separada, dirigida aos profissionais, para que os gestores possam lê-las sem os capítulos técnicos.

Exemplo resolvido

Amara gera dados sintéticos documentados, recupera o efeito embutido dos multiplicadores com um intervalo por bootstrap que exclui o zero, verifica as tendências anteriores e as sementes e explica o que o estudo sintético pode e não pode mostrar.

Caso sintético. Os dados e os resultados são sintéticos.

Erros e limites

Recuperar um efeito embutido mostra que o método funciona, não que o efeito é real.

Exercícios

• EX112 — Resultado do intervalo. O intervalo por bootstrap incluía o zero?
  Mostrar critérios de avaliação

  Rubrica: 3 = não;; 2 = parcialmente correto;; 1 = sim;; 0 = nenhuma.
• EX113 — Cenário de melhora mais rápida. O que acontece se as lojas com multiplicadores já melhoravam mais rápido?
  Mostrar critérios de avaliação

  Rubrica: 3 = o método superestima o efeito;; 2 = parcialmente correto;; 1 = subestima;; 0 = nenhuma.
• EX114 — Recomendação. O que Amara recomendou à Harbourline?
  Mostrar critérios de avaliação

  Rubrica: 3 = introduzir os multiplicadores em etapas para uma avaliação real;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.