◇ OpenCyber Academy
Mestrado · Capítulo 5 · Português

Capítulo 5 — Proposta e piloto

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 5 — Proposta e piloto

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX027.

flowchart TD
  N0["5.1 A proposta como contrato"]
  N1["5.2 Cronograma e caminho crítico"]
  N2["5.3 O registro de riscos"]
  N3["5.4 Pedindo dados aos custodiantes"]
  N4["5.5 Para que serve um piloto"]
  N5["5.6 Critérios de progressão"]
  N6["5.7 Atividade prática: auditando o extrato do piloto"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX027"]

Desenho lógico

flowchart LR
  N0["5.1 A proposta como contrato"]
  N1["5.2 Cronograma e caminho crítico"]
  N2["5.3 O registro de riscos"]
  N3["5.4 Pedindo dados aos custodiantes"]
  N4["5.5 Para que serve um piloto"]
  N5["5.6 Critérios de progressão"]
  N6["5.7 Atividade prática: auditando o extrato do piloto"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX027"]
[5.1 A proposta como contrato]
    |
    v
[5.2 Cronograma e caminho crítico]
    |
    v
[5.3 O registro de riscos]
    |
    v
[5.4 Pedindo dados aos custodiantes]
    |
    v
[5.5 Para que serve um piloto]
    |
    v
[5.6 Critérios de progressão]
    |
    v
[5.7 Atividade prática: auditando o extrato do piloto]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX027]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

  1. Escrever uma proposta de pesquisa que funcione como um contrato com um orientador, um comitê e os parceiros de dados: específica o bastante para ser verificada, flexível apenas onde a flexibilidade for declarada.
  2. Planejar um projeto de mestrado de dois anos com o seu caminho crítico e manter um registro de riscos com gatilhos e responsáveis.
  3. Abordar os custodiantes dos dados com um pedido preciso e negociar um acesso a que o estudo consiga sobreviver.
  4. Desenhar um piloto de viabilidade cujo propósito é testar procedimentos, e não estimar efeitos, e explicar por que as estimativas de efeito do piloto não devem ser usadas para justificar o estudo principal.
  5. Definir de antemão critérios de progressão (prosseguir/não prosseguir), incluindo um resultado de alterar e repetir o piloto.
  6. Auditar sistematicamente um extrato de dados do piloto e transformar cada constatação numa pergunta ao custodiante ou numa mudança de procedimento.

Os Capítulos 1–4 produziram a pergunta, o mapa do seminário, o desenho e a tabela de rivais. Este capítulo os empacota numa proposta e testa se o estudo pode de fato ser feito. O Capítulo 6 o executa.

5.1 A proposta como contrato

Uma proposta responde a três públicos ao mesmo tempo. O orientador precisa saber que o projeto é viável e que o candidato o entende. O comitê (e, mais tarde, os examinadores) precisa ver que a pergunta, o desenho e a análise são coerentes. Os parceiros de dados precisam saber exatamente o que será solicitado, como será protegido e o que será publicado. Uma proposta que satisfaz os três é específica sobre o que está fixado e explícita sobre o que está em aberto.

Uma estrutura padrão para o Spillover Study:

  1. Título e resumo (250 palavras): pergunta, desenho, dados, contribuição esperada.
  2. Problema e justificativa: a decisão que a resposta informa; a lacuna da matriz de conceitos (Capítulo 1).
  3. Perguntas e estimandos: RQ1–RQ3 com as definições dos estimandos.
  4. Fundamentação: um resumo da literatura centrado em conceitos, de duas páginas.
  5. Desenho: série temporal interrompida controlada e entrevistas; por que estes, e não outros.
  6. Dados e acesso: custodiantes, variáveis, período, agregação, acordos, fontes alternativas.
  7. Ética e proteção da informação: a submissão aprovada ou enviada; níveis de sensibilidade.
  8. Plano de análise: um resumo do plano de pré-análise, com link para o seu registro.
  9. Rivais e robustez: a tabela de rivais do Capítulo 4, com os testes.
  10. Cronograma e marcos.
  11. Riscos e mitigações.
  12. Produtos: dissertação, briefing aos parceiros, possível artigo; o que será e o que não será publicado.
  13. Referências.

Marque cada elemento como fixado (mudanças exigem uma entrada datada no registro de desvios e a concordância do orientador) ou em aberto (a ser decidido até uma data declarada ou após o piloto). No Spillover Study, os estimandos, o desfecho primário, a região de comparação e o modelo estão fixados; o número exato de entrevistas (8–12) e a definição do desfecho secundário (dependendo do dicionário de dados do custodiante) estão em aberto.

5.2 Cronograma e caminho crítico

Um mestrado de dois anos, com cerca de 1.200 horas de estudo, deixa talvez 600–700 horas para a dissertação propriamente dita, uma vez contados os componentes de aulas; as demais horas deste curso são os capítulos que você está estudando. O recurso escasso não é o tempo de análise, mas o tempo decorrido à espera de outras pessoas: comitês de ética, custodiantes dos dados, equipes jurídicas dos parceiros e as agendas dos entrevistados. Planeje em torno dessas esperas, e não em torno das suas próprias horas de trabalho.

Semestre Marcos Dependências de tempo decorrido
1 Pergunta, busca e matriz de conceitos (Capítulo 1); seminário (Capítulo 2); primeiro contato com os custodiantes As primeiras respostas dos custodiantes muitas vezes levam semanas
2 Desenho, análise do desenho, submissão ao comitê de ética, acordos de dados, plano de pré-análise (Capítulos 3–4) Revisão ética; revisão jurídica dos acordos — o caminho crítico
3 Proposta aprovada; piloto; coleta principal de dados; entrevistas (Capítulos 5–6) Repetição do piloto se os critérios falharem; agendamento das entrevistas
4 Análise, redação, exame (Capítulos 6–8) Período de revisão factual pelos parceiros; agendamento do exame

O caminho crítico é a cadeia de tarefas cujo atraso atrasa o projeto inteiro: aqui, a aprovação ética e os acordos de dados, que precisam ambos preceder o piloto. Comece-os cedo, mesmo antes de o desenho estar finalizado, compartilhando uma minuta do pedido de dados e perguntando aos custodiantes quais aprovações eles exigem.

5.3 O registro de riscos

Risco Probabilidade Impacto Mitigação Gatilho para agir Responsável
Custodiante atrasa os dados Alta Alto Contato precoce; pedido mínimo; painel público como alternativa para Wexmoor Nenhum acordo assinado até o fim do semestre 2 Candidato, orientador
Parceiro desiste após ver os resultados Média Alto Acordo de publicação com revisão factual e sem veto, assinado antes do acesso Pedido para suprimir constatações Orientador
Qualidade dos dados inadequada Média Alto Auditoria no piloto com critérios de progressão Os critérios falham duas vezes Candidato
Aprovação ética atrasada ou condicionada Média Médio Submeter cedo; consultar previamente o comitê Nenhuma decisão oito semanas após a submissão Candidato
Poucos entrevistados Média Médio Recrutar pela coalizão; ampliar as funções Menos de seis até a metade do semestre 3 Candidato
Expansão do escopo (acrescentar desfechos, regiões) Alta Médio Elementos fixados; registro de desvios Qualquer novo desfecho proposto Orientador
Parceiro sofre um novo incidente de segurança Baixa Alto Pausar; nunca pedir detalhes do incidente; seguir as instruções do parceiro Notificação do parceiro Candidato
Constatações julgadas sensíveis Média Médio Níveis de sensibilidade; relato regional; encaminhamento privado das fraquezas específicas Preocupação do parceiro ou do comitê Orientador

Revise o registro em cada reunião de orientação. Um registro de riscos escrito uma vez para a proposta e nunca mais aberto é decoração.

5.4 Pedindo dados aos custodiantes

Os custodiantes recebem muitos pedidos vagos e respondem aos precisos. Um bom pedido declara: o propósito em duas frases; as variáveis exatas e suas definições, tal como você as entende; o período; a agregação (contagens diárias por DE; nenhum registro de pacientes); como os dados serão armazenados e destruídos; o que será publicado e de que forma; o status da aprovação ética; e o que você dará em troca (um briefing, uma verificação da qualidade dos dados deles). Faça ao custodiante três perguntas de que todo estudo de séries temporais precisa: O sistema de registro, suas definições ou a área de captação do local mudaram durante o período? Há lacunas conhecidas ou dias de indisponibilidade? Como são tratados os lançamentos tardios e as correções? As respostas muitas vezes importam mais do que os dados.

No Spillover Study, Alder Point e Brookfield concordaram em fornecer agregados diários; Calloway concordou depois que a coalizão interveio; as contagens de Wexmoor vieram de um painel regional público cujos termos permitem o uso em pesquisa, o que o candidato registrou no plano de gestão de dados.

5.5 Para que serve um piloto

Um piloto ou estudo de viabilidade pergunta se o estudo principal pode ser feito como planejado: se os dados podem ser obtidos na forma esperada, se os participantes podem ser recrutados, se os procedimentos e instrumentos funcionam e quanto tempo levam. Thabane et al. (2010) oferecem um tutorial sobre o quê, o porquê e o como; Lancaster, Dodd e Williamson (2004) recomendam que os pilotos tenham objetivos de viabilidade claros e sejam analisados de forma descritiva; a extensão do CONSORT para ensaios piloto e de viabilidade (Eldridge et al., 2016) pede que os autores relatem os critérios usados para decidir se prosseguem. Embora essas fontes tratem de ensaios, sua lógica central se transfere diretamente para estudos observacionais e de métodos mistos.

Para o que um piloto não serve: estimar o efeito, ou estimar o tamanho de efeito para um cálculo de poder. Leon, Davis e Kraemer (2011) explicam por quê: as amostras dos pilotos são pequenas, então suas estimativas de efeito são imprecisas demais para orientar decisões de tamanho de amostra e podem enganar em qualquer direção. Num estudo observacional de evento há uma razão adicional: se o candidato examinar os dados de desfecho em torno do evento durante o "piloto", a análise subsequente deixa de ser planejada às cegas quanto ao resultado. O piloto de dados do Spillover Study usa, portanto, um extrato de 35 dias de linha de base de Alder Point, inteiramente anterior ao dia −60, e examina apenas a completude e a plausibilidade.

O piloto do Spillover Study tem três componentes:

  1. Piloto de dados: o extrato de linha de base, auditado contra critérios definidos de antemão (Laboratório 5).
  2. Piloto de entrevistas: duas entrevistas com pessoas fora da amostra (uma gestora de DE aposentada e um educador de EMS de outra região), testando a clareza, a duração e a sensibilidade do roteiro.
  3. Piloto do pipeline: o código completo da análise executado de ponta a ponta sobre dados sintéticos (o gerador do Laboratório 4) para verificar se ele produz todas as tabelas e figuras planejadas.

5.6 Critérios de progressão

Os critérios de progressão declaram de antemão quais resultados do piloto levam a prosseguir, alterar ou parar. Um formato comum usa três zonas: prosseguir (seguir como planejado), alterar (seguir após mudanças especificadas, possivelmente repetindo o piloto) e parar (o estudo, tal como desenhado, não é viável). Os critérios de dados do Spillover Study:

Critério Prosseguir Alterar Parar
Completude das células das quatro variáveis ≥ 97% 90–97% < 90% após uma repetição do piloto
Dias duplicados conflitantes Nenhum Explicados pelo custodiante Sem explicação
Dias de calendário ausentes ≤ 1 2–5, explicados > 5 ou sem explicação
Valores fora da faixa (contagens negativas, desvio > 1.440 minutos por dia) Nenhum Corrigidos pelo custodiante Persistentes

Critérios das entrevistas: o roteiro cabe em 45 minutos; nenhum dos participantes do piloto relata desconforto com alguma pergunta; ambos entendem todas as perguntas sem reformulação. Critério do pipeline: todos os produtos planejados gerados sem passos manuais.

5.7 Atividade prática: auditando o extrato do piloto

O laboratório abaixo audita um extrato sintético de 35 dias de Alder Point contra os critérios de §5.6. Ele verifica os códigos de local, as datas duplicadas (e se as duplicatas conflitam), os valores ausentes, os valores fora da faixa, os dias de calendário ausentes e os dias implausivelmente baixos, e relata uma decisão.

# Lab 5 - audit a pilot extract against predeclared go/no-go criteria (offline, standard library only)
# A synthetic 35-day daily extract from one neighbouring hospital (AP), as a partner might send it.
import csv, io, datetime as dt

EXTRACT = """date,site,amb_arrivals,walkins,diversion_min,median_wait_min
2025-03-01,AP,41,96,0,27
2025-03-02,AP,37,88,0,25
2025-03-03,AP,44,102,35,31
2025-03-04,AP,40,99,0,29
2025-03-05,AP,39,,0,28
2025-03-06,AP,42,101,0,30
2025-03-07,AP,38,93,0,26
2025-03-08,AP,36,90,0,24
2025-03-09,AP,35,87,0,23
2025-03-10,AP,45,104,120,33
2025-03-11,AP,43,100,0,30
2025-03-11,AP,43,100,0,30
2025-03-12,AP,41,97,0,N/A
2025-03-13,AP,40,95,0,29
2025-03-15,AP,37,91,0,25
2025-03-16,AP,36,89,0,24
2025-03-17,AP,46,105,-15,34
2025-03-18,AP,44,103,0,31
2025-03-19,ALDR,42,98,0,29
2025-03-20,AP,41,96,0,28
2025-03-21,AP,39,94,0,27
2025-03-22,AP,37,90,0,26
2025-03-23,AP,35,86,0,24
2025-03-24,AP,47,106,1600,35
2025-03-25,AP,44,101,0,31
2025-03-26,AP,43,99,0,30
2025-03-27,AP,41,97,0,29
2025-03-28,AP,40,95,0,28
2025-03-29,AP,38,92,0,26
2025-03-30,AP,23,55,0,25
2025-03-31,AP,45,103,0,32
2025-04-01,AP,44,102,0,31
2025-04-02,AP,42,99,0,30
2025-04-03,AP,40,96,0,29
2025-04-04,AP,39,94,0,28
"""
FIELDS = ["amb_arrivals", "walkins", "diversion_min", "median_wait_min"]
rows = list(csv.DictReader(io.StringIO(EXTRACT)))
issues, seen, by_date = [], {}, {}
for i, r in enumerate(rows, start=2):                      # line numbers as in the file
    d = dt.date.fromisoformat(r["date"])
    if r["site"] != "AP":
        issues.append((i, "site code", r["site"]))
    if d in seen:
        same = all(r[f] == rows[seen[d] - 2][f] for f in FIELDS)
        issues.append((i, "duplicate date", "identical" if same else "CONFLICTING"))
        continue
    seen[d] = i
    by_date[d] = r
    for f in FIELDS:
        v = r[f].strip()
        if v in ("", "N/A", "NA"):
            issues.append((i, "missing", f))
            continue
        x = float(v)
        if x < 0 or (f == "diversion_min" and x > 1440):
            issues.append((i, "out of range", f"{f}={v}"))

start, end = min(by_date), max(by_date)
expected = (end - start).days + 1
missing_days = [start + dt.timedelta(k) for k in range(expected) if start + dt.timedelta(k) not in by_date]
cells = expected * len(FIELDS)
bad_cells = sum(1 for _, kind, _ in issues if kind in ("missing", "out of range")) + len(missing_days) * len(FIELDS)
arr = [int(by_date[d]["amb_arrivals"]) for d in sorted(by_date)]
mu = sum(arr) / len(arr)
low = [(str(d), int(r["amb_arrivals"])) for d, r in sorted(by_date.items()) if int(r["amb_arrivals"]) < 0.7 * mu]

for line, kind, detail in issues:
    print(f"line {line:2d}: {kind}: {detail}")
print("missing calendar days:", [str(d) for d in missing_days])
print("implausibly low days (<70% of mean):", low)
complete = 1 - bad_cells / cells
print(f"cell completeness {complete:.3f} over {expected} days x {len(FIELDS)} fields")
CRITERIA = {                                                # predeclared in the pilot protocol
    "completeness >= 0.97": complete >= 0.97,
    "no conflicting duplicates": not any(d == "CONFLICTING" for _, k, d in issues if k == "duplicate date"),
    "<= 1 missing calendar day": len(missing_days) <= 1,
    "all values in range": not any(k == "out of range" for _, k, _ in issues),
}
for c, ok in CRITERIA.items():
    print(f"  {'PASS' if ok else 'FAIL'}  {c}")
print("decision:", "GO" if all(CRITERIA.values()) else "AMEND AND RE-PILOT (no outcome analysis)")

Saída esperada:

line  6: missing: walkins
line 13: duplicate date: identical
line 14: missing: median_wait_min
line 18: out of range: diversion_min=-15
line 20: site code: ALDR
line 25: out of range: diversion_min=1600
missing calendar days: ['2025-03-14']
implausibly low days (<70% of mean): [('2025-03-30', 23)]
cell completeness 0.943 over 35 days x 4 fields
  FAIL  completeness >= 0.97
  PASS  no conflicting duplicates
  PASS  <= 1 missing calendar day
  FAIL  all values in range
decision: AMEND AND RE-PILOT (no outcome analysis)

Cada constatação se torna uma pergunta, e não uma correção silenciosa:

A completude é de 94,3%, na zona de alterar, e dois valores estão fora da faixa. A decisão é alterar e repetir o piloto — e, como a saída declara, nenhuma análise de desfecho de qualquer tipo é feita sobre o extrato do piloto.

5.8 Exemplo resolvido: o relatório do piloto (sintético)

O relatório do piloto do candidato ao orientador, em uma página:

5.9 Erros comuns e limites

O limite de um piloto é o seu tamanho: passar nele mostra que os procedimentos podem funcionar, e não que os dados principais estarão limpos. Mantenha o script de auditoria e execute-o em cada extrato do estudo principal.

Exercícios — capítulo 5

EX027 — Resumo da proposta. Objetivo: comprimir o estudo num resumo verificável. Insumos: Capítulos 1–4. Restrições: 250 palavras; precisa nomear a pergunta, o estimando, o desenho, a comparação, as fontes de dados, o status ético e a contribuição esperada; nenhuma alegação de resultados. Passos: (1) redigir; (2) marcar cada frase como fixada ou em aberto; (3) pedir a um colega que declare a estimativa primária do estudo apenas a partir do seu resumo. Evidência esperada: resumo e a reformulação do colega. Rubrica: 3 = o colega reformula o estimando corretamente, todos os elementos exigidos presentes, nada prometido que o desenho não possa entregar; 2 = falta um elemento; 1 = nível de tema; 0 = nada.

EX028 — Cronograma e registro de riscos. Objetivo: planejar contra o tempo decorrido. Insumos: §5.2–5.3. Restrições: um estudo diferente: entrevistas com doze operadores de concessionárias de água sobre exercícios de incidentes cibernéticos, mais a análise dos relatórios de exercícios de três concessionárias. Passos: (1) montar um cronograma de quatro semestres; (2) identificar o caminho crítico; (3) escrever seis riscos com probabilidade, impacto, mitigação, gatilho e responsável. Evidência esperada: tabela e cronograma. Rubrica: 3 = caminho crítico corretamente identificado (aprovações e acesso aos relatórios de exercícios), gatilhos mensuráveis, mitigações específicas para concessionárias pequenas; 2 = um risco sem gatilho; 1 = genérico; 0 = nada.

EX029 — Auditoria e repetição do piloto. Objetivo: aplicar as correções de um custodiante aos dados do extrato do piloto e decidir PROSSEGUIR ou NÃO PROSSEGUIR pela completude registrada, sem imputar valores que nunca foram registrados. Insumos: código do Laboratório 5. Restrições: off-line. Passos: (1) executar o laboratório e registrar a saída; (2) aplicar as correções do custodiante de §5.8 (remover a duplicata; acrescentar 2025-03-14,AP,38,92,0,27; −15 → 15; 1.600 → 160; ALDR → AP; deixar ausentes os dois valores nunca registrados) e executar de novo; (3) relatar a completude e a decisão; (4) declarar o que a auditoria ainda relata e o que você fará a respeito. Evidência esperada: as duas saídas e um parágrafo. Rubrica: 3 = completude de 98,6% e GO relatados, células ausentes restantes e o dia baixo de 30 de março explicados com a regra da indisponibilidade, nenhuma imputação no piloto; 2 = um valor errado; 1 = não executado; 0 = nada.

EX030 — Piloto do roteiro de entrevista. Objetivo: testar um instrumento. Insumos: um roteiro próprio para a RQ3 (pelo menos dez perguntas). Restrições: pilotar com uma ou duas pessoas fora da amostra pretendida; registrar a duração e cada ponto de confusão ou desconforto. Passos: (1) pilotar; (2) revisar; (3) documentar as mudanças e suas razões; (4) declarar se a revisão deve ser registrada no registro de desvios. Evidência esperada: roteiro original, roteiro revisado e registro de mudanças. Rubrica: 3 = revisões respondem aos problemas observados, perguntas ancoradas no tempo e na informação, decisão sobre o registro de desvios justificada; 2 = revisões cosméticas; 1 = sem piloto; 0 = nada.

EX031 — Critérios de progressão. Objetivo: definir prosseguir/alterar/parar antes de ver os resultados do piloto. Insumos: um piloto de viabilidade para um questionário a 200 gestores de TI hospitalar sobre procedimentos de contingência. Restrições: pelo menos quatro critérios (por exemplo, taxa de resposta, preenchimento dos itens, tempo de preenchimento, compreensão). Passos: (1) definir os limiares de cada zona; (2) justificar cada um pelas necessidades do estudo principal; (3) declarar o que "alterar" muda em cada um. Evidência esperada: tabela e justificativa. Rubrica: 3 = limiares ligados à precisão ou à viabilidade do estudo principal, ações de alteração concretas, nenhum critério de tamanho de efeito; 2 = um limiar arbitrário; 1 = critérios sobre resultados, e não sobre viabilidade; 0 = nada.

EX032 — Memorando ao orientador sobre o escopo. Objetivo: tomar e registrar uma decisão de escopo. Insumos: após o piloto, a coalizão oferece dados de pacientes sobre o atendimento de AVC no período do desvio, se o candidato acrescentar um desfecho de AVC. Restrições: uma página; considerar a ética, o cronograma, o desenho e a alegação. Passos: (1) listar benefícios e custos; (2) decidir; (3) escrever a entrada no registro de desvios; (4) se recusar, declarar como a oferta se torna trabalho futuro. Evidência esperada: memorando. Rubrica: 3 = reconhece a nova aprovação ética e os dados individuais, o impacto no cronograma, a multiplicidade e o desfecho primário fixado; decisão defensável em qualquer sentido; entrada de desvio completa; 2 = decisão sem custos; 1 = aceita sem aprovações; 0 = nada.

Síntese do capítulo

Uma proposta é um contrato: ela fixa a pergunta, os estimandos, o desenho e a análise, declara o que permanece em aberto e diz como os desvios serão registrados. O caminho crítico de um projeto de mestrado passa pelo tempo de outras pessoas — ética, custodiantes, revisão jurídica —, então comece essas frentes cedo e mantenha um registro de riscos vivo. Faça aos custodiantes perguntas precisas, sobretudo sobre mudanças de sistema, lacunas e correções. Um piloto testa a viabilidade, e não os efeitos; nunca estime um efeito a partir dele e, num estudo de evento, nunca olhe para os desfechos em torno do evento. Defina de antemão os critérios de prosseguir/alterar/parar. Audite cada extrato com um script, transforme cada anomalia numa pergunta e trate os dias de indisponibilidade nos próprios hospitais que você estuda como artefatos de medição a sinalizar, e não como linhas a apagar.

Continue estudando — capítulo 05 de 08

← Capítulo 04 · Índice de capítulos do curso · Capítulo 06 →

Siga para a próxima lição escrita.