Capítulo 4 — Replicação da linha de base e piloto
Mapa da aula
Aula 04 publicada. Mapa, exemplo, EX021.
flowchart TD
N0["4.1 Replicar a linha de base"]
N1["4.2 Executar um piloto"]
N2["4.3 Refinar os instrumentos"]
N3["4.4 O que o piloto não mostra"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX021"]
Desenho lógico
flowchart LR
N0["4.1 Replicar a linha de base"]
N1["4.2 Executar um piloto"]
N2["4.3 Refinar os instrumentos"]
N3["4.4 O que o piloto não mostra"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX021"]
[4.1 Replicar a linha de base]
|
v
[4.2 Executar um piloto]
|
v
[4.3 Refinar os instrumentos]
|
v
[4.4 O que o piloto não mostra]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX021]
Objetivos de aprendizagem
Você vai (1) replicar uma medição de linha de base; (2) executar um piloto da intervenção; (3) refinar os instrumentos antes do estudo principal.
4.1 Replicar a linha de base
Antes de mudar qualquer coisa, Mireille replica por três meses as medidas atuais da Vantor. Ela confirma que as taxas mensais de cliques nas simulações variam entre oito e dezenove por cento, acompanhando sobretudo a dificuldade das iscas, o que sustenta sua decisão de fixar a dificuldade. Ela também mede a linha de base do desfecho primário: cerca de um em cada quatro e-mails suspeitos reais é reportado em até trinta minutos. A replicação mostra que seu processo de medição funciona nesse ambiente e fornece o ponto de referência do qual dependem todas as afirmações posteriores. Ela também registra quantas simulações foram enviadas a cada mês, para que as comparações futuras usem a mesma base.
4.2 Executar um piloto
Dois departamentos que não fazem parte do estudo principal testam o programa centrado em reportes por seis semanas. Mireille fica atenta a problemas práticos. O botão de reporte funciona no e-mail do computador, mas fica escondido no aplicativo móvel, de modo que quem lê e-mails no celular não consegue reportar com facilidade. A mensagem de agradecimento chega depois de duas horas, e não de minutos, por causa de uma regra de e-mail. Os servidores acham o resumo semanal útil, porém longo demais. Pilotos existem para encontrar esses problemas a baixo custo, antes que prejudiquem o estudo principal. Cada problema é registrado com a data em que foi encontrado.
4.3 Refinar os instrumentos
Mireille corrige os problemas. O fornecedor acrescenta o botão de reporte ao aplicativo móvel; a regra de e-mail é corrigida; o resumo é reduzido a três exemplos. Ela também testa o questionário de ônus e percebe que uma pergunta é confusa, então a reescreve. Registra cada mudança e seu motivo em um log que será publicado com a tese. O Prof. Aalto observa que registros transparentes das mudanças feitas antes do estudo principal geram confiança nos resultados finais. O questionário revisado é testado de novo com cinco voluntários antes do estudo principal, e todos entendem todas as perguntas.
4.4 O que o piloto não mostra
Mireille resiste a apresentar efeitos do piloto como achados. Dois departamentos ao longo de seis semanas não podem mostrar se o programa funciona, e os departamentos do piloto se ofereceram como voluntários, de modo que podem estar excepcionalmente engajados. Ela relata o piloto apenas como uma verificação de viabilidade: o programa pode ser executado, as medidas funcionam e os problemas práticos foram corrigidos. Tratar um piloto como evidência de efeito é um erro comum, que leva a estudos principais confiantes demais e a replicações decepcionantes. Ela escreve essa ressalva no próprio relatório do piloto, para que ninguém na Vantor cite os números iniciais como prova de que o programa funciona, e pede ao comitê diretor que espere pelo estudo principal.
Exemplo resolvido
Mireille replica as medidas de cliques e de reportes da linha de base, testa o programa em dois departamentos, corrige três problemas e relata o piloto apenas como verificação de viabilidade.
Caso sintético. Os números e os departamentos são sintéticos.
Erros e limites
Pilotos com voluntários não são representativos. Períodos de linha de base podem incluir eventos atípicos.
Exercícios
- EX021 — Faixa de cliques na linha de base. Que faixa as taxas de cliques mostraram na linha de base? Rubrica: 3 = de oito a dezenove por cento, acompanhando a dificuldade das iscas;; 2 = faixa;; 1 = vago;; 0 = nenhuma.
- EX022 — Reportes na linha de base. Qual era a linha de base de reportes de e-mails suspeitos reais? Rubrica: 3 = cerca de um em cada quatro em até trinta minutos;; 2 = 25%;; 1 = vago;; 0 = nenhuma.
- EX023 — Problema no celular. Que problema o piloto encontrou no e-mail pelo celular? Rubrica: 3 = o botão de reporte ficava escondido no aplicativo móvel;; 2 = celular;; 1 = vago;; 0 = nenhuma.
- EX024 — Atraso no retorno. Por que os agradecimentos chegavam atrasados? Rubrica: 3 = uma regra de e-mail os atrasava em duas horas;; 2 = regra de e-mail;; 1 = vago;; 0 = nenhuma.
- EX025 — Log de mudanças. Por que registrar cada mudança antes do estudo principal? Rubrica: 3 = a transparência gera confiança nos resultados finais;; 2 = confiança;; 1 = vago;; 0 = nenhuma.
- EX026 — Limites do piloto. Por que o piloto não é evidência de efeito? Rubrica: 3 = dois departamentos voluntários em seis semanas não podem mostrá-lo;; 2 = viabilidade;; 1 = efeito;; 0 = nenhuma.
Síntese
A replicação fixa a linha de base e um piloto encontra problemas práticos, mas nenhum dos dois deve ser confundido com evidência de efeito.
Continue estudando — aula 04 (capítulo 04 de 08)
← Capítulo 03 · Índice das aulas · Capítulo 05 →
Continue para a próxima aula já escrita.