Capítulo 8 — Revisão independente e defesa

Capítulo 8 — Revisão independente e defesa

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX045.

flowchart TD
  N0["8.1 Como os examinadores leem"]
  N1["8.2 Famílias de perguntas"]
  N2["8.3 E se você tivesse escolhido de outra forma? — a"]
  N3["8.4 Preparando-se para a defesa"]
  N4["8.5 Depois da defesa: as correções"]
  N5["8.6 Compartilhando os resultados com responsabilidad"]
  N6["8.8 Próximos passos depois do mestrado"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX045"]

Desenho lógico

flowchart LR
  N0["8.1 Como os examinadores leem"]
  N1["8.2 Famílias de perguntas"]
  N2["8.3 E se você tivesse escolhido de outra forma? — a"]
  N3["8.4 Preparando-se para a defesa"]
  N4["8.5 Depois da defesa: as correções"]
  N5["8.6 Compartilhando os resultados com responsabilidad"]
  N6["8.8 Próximos passos depois do mestrado"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX045"]

[8.1 Como os examinadores leem]
    |
    v
[8.2 Famílias de perguntas]
    |
    v
[8.3 E se você tivesse escolhido de outra forma? — a]
    |
    v
[8.4 Preparando-se para a defesa]
    |
    v
[8.5 Depois da defesa: as correções]
    |
    v
[8.6 Compartilhando os resultados com responsabilidad]
    |
    v
[8.8 Próximos passos depois do mestrado]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX045]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

1. Explicar como os examinadores costumam ler uma dissertação e preparar o documento e o candidato para essa leitura.
2. Antecipar as famílias de perguntas que os examinadores fazem a um estudo aplicado e preparar respostas baseadas em evidências, incluindo respostas honestas do tipo "não sei".
3. Responder a "e se você tivesse escolhido de outra forma?" com uma curva de especificação que mostre como a estimativa principal depende de escolhas analíticas defensáveis — e explicar por que a robustez às escolhas não é o mesmo que acurácia.
4. Conduzir uma defesa simulada e usá-la para encontrar lacunas no trabalho, e não apenas na apresentação.
5. Responder ao parecer dos examinadores com uma tabela de correções que associe cada comentário a uma ação e a um local.
6. Compartilhar as constatações com os parceiros e com o setor sem revelar informações sensíveis, e encaminhar à parte certa qualquer fraqueza de segurança encontrada incidentalmente.

Este capítulo fecha o ciclo da dissertação que começou no Capítulo 1. Ele se apoia em todos os capítulos anteriores: a pergunta e o escopo (1), a literatura e o mapa do seminário (2), o desenho e a ética (3), a tabela de rivais (4), os elementos fixados da proposta (5), a análise (6) e o registro de resultados e alegações (7).

8.1 Como os examinadores leem

Os formatos de exame variam muito. Algumas dissertações de mestrado são avaliadas apenas a partir do documento escrito, por um examinador interno e um externo; outras incluem uma defesa oral (viva voce) ou uma apresentação. Os resultados comuns incluem a aprovação, a aprovação com correções menores ou maiores, a reapresentação ou a reprovação; o regulamento da sua instituição é a única autoridade sobre quais se aplicam.

A pesquisa sobre como examinadores experientes avaliam teses — sobretudo no nível do doutorado, mas instrutiva para o trabalho de mestrado — sugere padrões para os quais vale a pena se preparar. Mullins e Kiley (2002) entrevistaram examinadores experientes e relataram que eles geralmente esperam que uma tese seja aprovada, formam as primeiras impressões a partir dos capítulos de abertura e de fechamento, procuram coerência entre a pergunta, o trabalho e as conclusões e se irritam com o descuido na apresentação, que tinge a leitura do resto. As implicações práticas são simples: o resumo, a introdução e a conclusão precisam ser precisos e consistentes; as perguntas precisam ser respondidas visivelmente, na ordem em que foram feitas; e pequenos erros — números inconsistentes, referências quebradas, figuras sem rótulo — custam mais do que o seu tamanho sugere. A verificação de proveniência e o registro de resultados e alegações do Capítulo 7 existem exatamente para esse leitor.

8.2 Famílias de perguntas

As perguntas dos examinadores sobre um estudo aplicado de infraestrutura caem em famílias reconhecíveis. Prepare pelo menos duas perguntas por família, com respostas que citem as suas evidências.

8.3 "E se você tivesse escolhido de outra forma?" — a curva de especificação

8.3.1 A ideia

Toda análise envolve escolhas defensáveis de mais de uma forma: a duração da linha de base, as unidades de comparação, a duração da janela do evento, a exclusão ou não dos feriados. Uma análise primária pré-especificada protege contra escolher depois de ver os resultados (Capítulo 6), mas um examinador pode razoavelmente perguntar se a conclusão depende das escolhas específicas feitas. Uma curva de especificação responde estimando o efeito sob todas as combinações de escolhas razoáveis e relatando a distribuição inteira (Simonsohn, Simmons e Nelson, 2020); uma análise multiverso aplica a mesma ideia às escolhas de processamento dos dados (Steegen et al., 2016). A estimativa pré-especificada continua primária; a curva mostra quão frágil ou robusta ela é.

8.3.2 Atividade prática: a curva de especificação do Spillover

Salve primeiro o Laboratório 4 como lab4_data.py e o Laboratório 6 como lab6_its.py. O laboratório abaixo estima o efeito em Alder Point sob 54 especificações: linha de base de 90, 120 ou 180 dias; comparação W1, W2 ou agregada; janela do evento de 14, 21 ou 28 dias; feriados mantidos ou retirados.

# Lab 8 - specification curve for the examiner's "what if you had chosen differently?" (offline)
# Save Lab 4 as lab4_data.py and Lab 6 as lab6_its.py in the same folder first.
import itertools, statistics
from lab4_data import make_region, DAYS
from lab6_its import cits

d = make_region()
controls = {"W1": d["W1"], "W2": d["W2"], "pooled": {t: d["W1"][t] + d["W2"][t] for t in DAYS}}
specs = []
for pre_len, ctrl, ev_len, drop_hol in itertools.product((90, 120, 180), controls, (14, 21, 28), (False, True)):
    drop = frozenset({-100, 45}) if drop_hol else frozenset()
    est, lo, hi = cits(d["AP"], controls[ctrl], pre_len=pre_len, ev_len=ev_len, drop=drop)
    specs.append((est, lo, hi, pre_len, ctrl, ev_len, drop_hol))
specs.sort()
ests = [s[0] for s in specs]
print(f"specifications: {len(specs)}")
print(f"median effect {statistics.median(ests):+.3f}; range {ests[0]:+.3f} to {ests[-1]:+.3f}")
print(f"intervals excluding zero: {sum(s[1] > 0 for s in specs)} of {len(specs)}")
for label, idx in (("pre_len", 3), ("control", 4), ("event_len", 5), ("drop_holidays", 6)):
    groups = {}
    for s in specs:
        groups.setdefault(s[idx], []).append(s[0])
    print(label + ": " + ", ".join(f"{k}={statistics.median(v):+.3f}" for k, v in sorted(groups.items(), key=lambda kv: str(kv[0]))))
print("lowest three:", [(round(s[0], 3), s[3], s[4], s[5], s[6]) for s in specs[:3]])

Saída esperada:

specifications: 54
median effect +0.245; range +0.199 to +0.332
intervals excluding zero: 54 of 54
pre_len: 120=+0.237, 180=+0.205, 90=+0.271
control: W1=+0.221, W2=+0.259, pooled=+0.238
event_len: 14=+0.237, 21=+0.260, 28=+0.217
drop_holidays: False=+0.244, True=+0.246
lowest three: [(0.199, 180, 'pooled', 14, False), (0.201, 180, 'pooled', 14, True), (0.202, 180, 'W2', 28, False)]

Lendo a curva:

• A conclusão de Alder Point é robusta a estas escolhas. Todos os 54 intervalos excluem o zero; a estimativa mediana é +24,5% e a faixa vai de +19,9% a +33,2%. Nenhuma escolha razoável deste conjunto transforma o aumento em "nenhum efeito".
• As escolhas ainda movem a estimativa. Linhas de base mais curtas dão estimativas maiores (mediana de +27,1% com 90 dias, +20,5% com 180), porque a tendência linear ajustada a um período mais curto é menos estável. W2 como única comparação dá estimativas maiores do que W1. Uma janela de 21 dias dá a maior mediana porque coincide com o período verdadeiro do desvio; 14 dias omitem parte dele e 28 dias o diluem com a cauda.
• Os feriados quase não importam (mediana de +24,4% mantidos, +24,6% retirados): os feriados regionais caem fora da janela do evento e afetam as duas regiões.

Executar a mesma curva para Brookfield (EX045) dá uma mediana de +2,5%, uma faixa de −1,5% a +6,9% e nenhum intervalo que exclua o zero. O resultado de Brookfield é robustamente inconclusivo — e, no entanto, o efeito verdadeiro do gerador era +10%, acima de cada uma das 54 estimativas pontuais. Este é o limite da curva de especificação: ela mostra quanto uma conclusão depende das escolhas analíticas, mas todas as especificações usam os mesmos dados, com o mesmo ruído. Robustez às escolhas não é acurácia. Só mais informação — mais eventos, mais vizinhos, dados mais finos — pode resolver Brookfield.

8.4 Preparando-se para a defesa

8.4.1 O resumo de abertura

Se o formato incluir uma defesa oral, geralmente lhe pedirão que resuma o trabalho em 10–15 minutos. Use a estrutura da apresentação do seminário (Capítulo 2) aplicada ao seu próprio trabalho: a pergunta e por que ela importa; o desenho e os dados; os principais resultados com intervalos; o que o desenho descarta e o que deixa em aberto; as limitações e o que vem a seguir. Mostre a curva de especificação se for provável que os examinadores perguntem sobre as escolhas. Termine com a resposta delimitada a cada pergunta de pesquisa, nas palavras da dissertação.

8.4.2 Defesas simuladas

Peça a duas pessoas que o examinem por uma hora — idealmente um metodologista e um profissional do setor — com as famílias de perguntas de §8.2. Grave a sessão com o consentimento delas. Depois, classifique cada pergunta que você respondeu mal num de três tipos:

1. Lacunas de apresentação: você sabia a resposta, mas não conseguiu encontrá-la ou dizê-la com clareza. Corrija com preparação.
2. Lacunas do documento: a dissertação não contém informações que deveria conter. Corrija a dissertação antes da entrega, se possível, ou prepare uma resposta honesta.
3. Lacunas do trabalho: o estudo não consegue responder à pergunta. Não as esconda; prepare-se para declará-las como limitações e para descrever o estudo que as trataria.

8.4.3 Respondendo

Use os três registros do seminário: "a dissertação mostra…", "eu infiro…", "não sei; seria preciso…". Conceda prontamente o que deve ser concedido; defender um ponto indefensável prejudica a credibilidade dos defensáveis. Quando um examinador propuser uma análise alternativa, não improvise um resultado novo na sala; explique o que você esperaria e por quê, e ofereça-se para executá-la como correção, se for solicitado. Quando lhe perguntarem sobre o mundo real, lembre-se do escopo: no estudo sintético deste livro, nada se sabe sobre hospitais reais.

8.5 Depois da defesa: as correções

Os pareceres dos examinadores listam as correções exigidas, às vezes com recomendações. Responda com uma tabela de correções:

Quando discordar, diga-o com polidez, com razões e evidências, como na linha 3; os examinadores geralmente aceitam uma concordância parcial fundamentada. Guarde a tabela junto com a dissertação corrigida.

8.6 Compartilhando os resultados com responsabilidade

8.6.1 Primeiro os parceiros

Antes de qualquer apresentação pública, dê aos parceiros a revisão factual e de informações protegidas prometida no acordo de dados (Capítulo 3), dentro do seu prazo fixo e sem veto sobre as constatações. Ofereça a cada parceiro um briefing privado que inclua tudo o que for específico dele — por exemplo, que o seu DE soube do desvio de forma informal e tardia. As constatações sobre as fraquezas de uma organização específica pertencem primeiro a essa organização.

8.6.2 O setor e o público

Um briefing para a coalizão regional de saúde pode apresentar o padrão regional, o mecanismo e as recomendações com níveis de confiança:

• Confiança moderada: o DE aberto mais próximo nas principais rotas das ambulâncias absorve a maior parte da carga desviada nos primeiros dias; os planos deveriam nomeá-lo e prever apoio para o pico.
• Confiança moderada: os vizinhos precisam de uma notificação formal e precoce; o aviso informal pelas equipes que chegavam custou horas.
• Confiança baixa (não testada): regras explícitas de compartilhamento da carga pelo EMS reduziriam a sobrecarga de pico do DE mais próximo.

Não publique estimativas de capacidade ociosa por instalação nem uma lista ordenada de qual perda de hospital causaria a maior sobrecarga regional; esses produtos ajudariam quem buscasse maximizar o dano e acrescentariam pouco valor defensivo além das organizações em questão (aplicam-se as questões de uso dual do livro de doutorado). Regiões sintéticas ou anonimizadas são aceitáveis para publicação quando a estrutura não pode ser associada a um lugar real.

8.6.3 Constatações de segurança incidentais

A pesquisa sobre operações às vezes revela uma fraqueza de segurança — um entrevistado menciona um serviço de acesso remoto exposto, ou um extrato de dados contém credenciais. Não a investigue, não a teste e não a descreva publicamente. Relate-a em privado à organização em questão, pelo contato indicado no seu acordo; se ela disser respeito a um produto de um fornecedor, e não à configuração de uma organização, a divulgação coordenada de vulnerabilidades por meio do fornecedor ou de um coordenador como o programa de CVD da CISA é a via estabelecida. Registre o que você fez e informe o seu orientador e o comitê de ética, se o seu protocolo o exigir.

8.7 Exemplo resolvido: uma troca na defesa simulada (sintético)

Examinador (metodologista): "O seu resultado principal depende de Wexmoor ter tido a mesma estação. Como você sabe que teve?"

Candidato: "A dissertação mostra que a razão pré-evento entre Alder Point e Wexmoor foi plana ao longo de 180 dias, sem ruptura de tendência, e que o resultado se mantém contra cada hospital de Wexmoor separadamente — a menor estimativa da curva de especificação é de cerca de 20%. Eu infiro que uma estação diferente em Wexmoor dificilmente explica todo o aumento. Não sei se a estação respiratória de Wexmoor começou exatamente no mesmo dia; seriam precisos dados regionais de vigilância que eu não tinha, e isso está nas limitações com a sua direção provável: se a estação de Wexmoor tivesse sido mais branda, a minha estimativa estaria alta demais."

Examinador (profissional): "Os gestores de Brookfield disseram que ficaram sobrecarregados. Os seus números dizem que nada aconteceu. Quem tem razão?"

Candidato: "Os meus números não dizem que nada aconteceu — a estimativa de Brookfield é +5,8%, com um intervalo de cerca de −7% a +20%, então eles não conseguem distinguir nenhuma variação de uma variação substancial. As entrevistas descrevem noites pesadas e uma falta simultânea de pessoal. O quadro conjunto relata isso como uma discordância, com três explicações possíveis. Resolvê-la exigiria dados por hora e registros de pessoal."

Examinador: "Então as coalizões deveriam planejar para o transbordamento além do hospital mais próximo?"

Candidato: "Este estudo não consegue dizer a elas quanto. Ele pode dizer que o DE mais próximo nas rotas principais recebeu a maior parte da carga neste evento e que a evidência para os hospitais mais distantes é inconclusiva, e não negativa."

As respostas usam os três registros, concedem prontamente, citam evidências e mantêm as alegações dentro do desenho.

8.8 Próximos passos depois do mestrado

Uma dissertação concluída deixa uma lista de estudos que reduziriam a sua incerteza restante: agregar vários eventos de desvio com métodos para momentos escalonados; desfechos por hora e ponderados pela gravidade; avaliar um protocolo de compartilhamento da carga. Alguns deles são projetos práticos para um operador ou uma coalizão; outros têm escala de doutorado. O curso de doutorado desta área mostra como uma pergunta assim se torna uma contribuição original com validação independente. Na trilha de estudos, o próximo curso é a trilha de doutorado em Cibersegurança.

8.9 Erros comuns e limites

• Tratar o resumo e a conclusão como formalidades; os examinadores os leem primeiro.
• Preparar respostas sobre a apresentação, mas não sobre as lacunas reais do trabalho.
• Tratar uma curva de especificação como prova de verdade, e não de robustez às escolhas.
• Improvisar análises novas na defesa.
• Defender todos os pontos por igual, incluindo os indefensáveis.
• Responder às correções sem uma tabela que associe cada comentário a uma mudança.
• Apresentar as constatações publicamente antes que os parceiros tenham feito a revisão acordada.
• Publicar detalhes de capacidade ou de vulnerabilidade por instalação.
• Investigar uma constatação de segurança incidental em vez de relatá-la em privado.

O limite do exame é que ele julga a dissertação, e não o mundo. Ser aprovado confirma que o estudo foi feito com competência e que suas alegações estão delimitadas; não torna gerais as constatações sintéticas ou de uma única região.

Exercícios — capítulo 8

EX045 — Curvas de especificação para dois locais. Objetivo: usar o Laboratório 8. Insumos: Laboratórios 4, 6 e 8. Restrições: off-line. Passos: (1) executar o Laboratório 8 e registrar a saída; (2) substituir d["AP"] por d["BF"] e registrar a saída; (3) comparar as duas curvas; (4) explicar por que o efeito verdadeiro de 10% de Brookfield fica acima de todas as estimativas pontuais e o que isso diz sobre as curvas de especificação. Evidência esperada: saídas e um parágrafo. Rubrica: 3 = as duas saídas corretas, Brookfield descrito como robustamente inconclusivo, o limite (mesmos dados, mesmo ruído; robustez não é acurácia) explicado; 2 = uma saída errada; 1 = Brookfield descrito como "nenhum efeito"; 0 = nada.

EX046 — Banco de perguntas. Objetivo: preparar-se para os examinadores. Insumos: §8.2 e a sua dissertação ou a do Spillover. Restrições: duas perguntas por família; respostas de no máximo 120 palavras, citando evidências. Passos: (1) escrever as perguntas; (2) escrever as respostas usando os três registros; (3) marcar as três mais difíceis e a lacuna que cada uma revela (de apresentação, do documento ou do trabalho). Evidência esperada: banco de perguntas. Rubrica: 3 = as perguntas mais difíceis são de fato difíceis (tendências paralelas, discordância de Brookfield, transferência), as respostas citam evidências e concedem onde cabe, lacunas corretamente classificadas; 2 = respostas genéricas; 1 = perguntas fáceis; 0 = nada.

EX047 — Tabela de correções. Objetivo: responder aos examinadores. Insumos: um parecer sintético com quatro comentários: (a) "A revisão da literatura é autor por autor"; (b) "Por que o degrau pós-desvio foi incluído? Parece um jeito de absorver dados inconvenientes"; (c) "A seção de ética não menciona a revisão pelos parceiros"; (d) "Por favor, acrescente desfechos de pacientes". Restrições: o formato de tabela de §8.5. Passos: responder a cada um com de acordo, parcialmente de acordo ou em desacordo, dando razões e ações. Evidência esperada: tabela. Rubrica: 3 = (a) aceito e reestruturado por conceito, (b) defendido com a pré-especificação e a razão (evitar a contaminação da tendência pela cauda) e uma análise de sensibilidade oferecida, (c) aceito e acrescentado, (d) recusado por estar fora do escopo e das aprovações, com uma nota de trabalho futuro; 2 = uma resposta sem fundamentação; 1 = aceita tudo, inclusive (d); 0 = nada.

EX048 — Defesa simulada e classificação das lacunas. Objetivo: usar uma defesa simulada para melhorar o trabalho. Insumos: a sua dissertação ou os materiais do Spillover. Restrições: uma simulação de 45 minutos com dois examinadores; gravação consentida. Passos: (1) realizar a simulação; (2) listar cada resposta fraca; (3) classificá-las em lacunas de apresentação, do documento e do trabalho; (4) corrigir o que puder ser corrigido e redigir o texto de limitação para o resto. Evidência esperada: lista, classificação e correções. Rubrica: 3 = classificação honesta, com pelo menos uma lacuna do trabalho reconhecida, correções do documento feitas, texto de limitação com direção; 2 = todas as lacunas classificadas como de apresentação; 1 = sem simulação; 0 = nada.

EX049 — Briefing para a coalizão. Objetivo: compartilhar as constatações com responsabilidade. Insumos: os resultados e os temas do Spillover. Restrições: uma página; recomendações com níveis de confiança; um parágrafo "o que este estudo não mostra"; nenhum número de capacidade por instalação. Passos: (1) redigir; (2) marcar cada frase com a sua fonte na dissertação; (3) listar o que foi compartilhado em privado com cada parceiro, em vez disso. Evidência esperada: briefing e lista. Rubrica: 3 = recomendações rastreáveis e calibradas, recomendações não testadas rotuladas, limites explícitos, detalhes sensíveis encaminhados em privado; 2 = uma recomendação não calibrada; 1 = fraquezas específicas de instalações publicadas; 0 = nada.

EX050 — O próximo estudo. Objetivo: transformar as limitações numa proposta viável. Insumos: as limitações com direção de §7.6. Restrições: uma página; escolher a limitação cuja resolução mais mudaria as conclusões. Passos: (1) justificar a escolha; (2) declarar a pergunta e o estimando; (3) escolher um desenho e os dados de que ele precisa; (4) declarar o resultado que mudaria as decisões dos planejadores; (5) dizer se é um projeto de mestrado, de doutorado ou de profissionais, e por quê. Evidência esperada: proposta de uma página. Rubrica: 3 = a limitação escolhida é consequente (por exemplo, um único evento), desenho viável (eventos agregados com métodos para momentos escalonados, ou dados por hora ponderados pela gravidade), resultado relevante para decisões declarado, julgamento de escala fundamentado; 2 = desenho vago; 1 = repete o estudo original; 0 = nada.

Síntese do capítulo

Os examinadores leem em busca de coerência e são influenciados pelo cuidado; torne o resumo, a introdução e a conclusão precisos e consistentes, e as respostas a cada pergunta visíveis. Prepare-se para famílias previsíveis de perguntas com evidências. Responda ao "e se" com uma curva de especificação que mantenha a estimativa pré-especificada como primária e mostre a sua dependência de escolhas razoáveis — lembrando que robustez às escolhas não é acurácia, como mostra a estimativa robustamente inconclusiva de um efeito real em Brookfield. Use as defesas simuladas para encontrar lacunas no trabalho, e não apenas na fala. Responda às correções com uma tabela associada e com razões. Compartilhe primeiro com os parceiros, publique padrões regionais em vez de fraquezas de instalações e encaminhe em privado as constatações de segurança incidentais. As limitações da dissertação tornam-se o próximo estudo.

Continue estudando — capítulo 08 de 08

← Capítulo 07 · Índice de capítulos do curso · Resoluções →

Siga para a próxima lição escrita.

Resoluções e notas de avaliação

Cada resolução mostra uma resposta defensável e explica o que a rubrica recompensa. Uma resposta diferente pode receber a pontuação máxima quando atende ao mesmo padrão de evidências, escopo e honestidade sobre os limites. Os resultados numéricos vêm dos laboratórios offline deste livro, executados com o Python 3 (a versão 3.13 foi usada neste rascunho) e apenas a biblioteca padrão; se sua saída for diferente, confira primeiro a versão do Python, a semente e se você mudou a ordem dos sorteios aleatórios.

Capítulo 1: EX001–EX007

EX001 — Do tema à pergunta. Problema: os reguladores estaduais de água potável e as associações de concessionárias não sabem com que frequência os incidentes cibernéticos em concessionárias pequenas interrompem o tratamento ou o monitoramento, nem por quanto tempo, então os programas de apoio não podem ser direcionados. Pergunta (forma PICOT): entre os sistemas comunitários de água que atendem de 3.300 a 50.000 pessoas num estado (P), com que frequência os incidentes cibernéticos notificados à agência estadual de primazia (E) coincidiram com uma interrupção registrada do tratamento ou do monitoramento, em comparação com as falhas de equipamento não cibernéticas (C), medida como o número e a duração das interrupções (O) ao longo de cinco anos (T)? FINER: viável apenas se os registros de incidentes da agência de primazia distinguirem as causas e puderem ser compartilhados de forma agregada — verifique isso primeiro; interessante para a agência e para as concessionárias; nova se não existir nenhuma descrição em nível estadual; ética porque os registros agregados não envolvem indivíduos, embora o risco de identificação das concessionárias pequenas precise ser tratado (Capítulo 3); relevante porque mostraria se as causas cibernéticas são uma parcela significativa das interrupções. Alegação esperada: "Num estado, ao longo de cinco anos, os incidentes cibernéticos registrados responderam por uma parcela declarada das interrupções do tratamento ou do monitoramento, com durações declaradas." Fora do escopo: a incidência dos incidentes não notificados; os efeitos sobre a saúde. A nota máxima exige honestidade sobre a viabilidade (os registros podem não codificar a causa de forma confiável) e uma alegação limitada aos incidentes notificados.

EX002 — Tipos de pergunta.

O ponto-chave da rubrica é (b): a adoção dos simulados é escolhida pelos hospitais, então os hospitais mais bem geridos tanto adotam os simulados quanto têm esperas menores; sem um desenho que trate disso, a alegação é associativa.

EX003 — Estratégia de busca e teste dos itens conhecidos. Blocos como em §1.4.2, com acréscimos como "health information technology failure", "cyber incident" e "EHR outage" no Bloco A e "regional surge", "patient redistribution" e "mutual aid" no Bloco C. Fontes: um índice biomédico (para medicina de emergência e serviços de saúde), um índice acadêmico geral (para economia e administração pública) e um índice de computação (para segurança), cada um justificado pela disciplina que cobre. Literatura cinzenta: órgãos de auditoria (por exemplo, o NAO), agências e ministérios da saúde, declarações de reguladores, relatórios pós-ação de coalizões de saúde e de EMS, levantamentos de associações de hospitais (por exemplo, o da AHA) e órgãos de coordenação setorial. Conjunto de itens conhecidos: Dameff et al. (2023), Ghafur et al. (2019), Neprash et al. (2022); verificar buscando em cada fonte e confirmando que o item aparece nos resultados, revisando a expressão se não aparecer e registrando a revisão. Regra de encerramento: duas rodadas consecutivas de encadeamento sem nenhum novo estudo incluído. Campos do registro: data, fonte, expressão exata, filtros, resultados, nome do arquivo exportado, pessoa. A rubrica recompensa uma busca que encontraria o relatório do NAO — impossível apenas por meio de bases bibliográficas — e uma verificação de itens conhecidos que seja de fato executável.

EX004 — Deduplicação e concordância. (1) A saída esperada como em §1.9: 20 identificados, 5 duplicatas, 15 triados, κ = 0,571. (2) Com o registro do "e comercial" acrescentado e I acrescentado para os dois revisores, a saída é records identified: 21 duplicates removed: 5 screened: 16, po=0.812 pe=0.547 kappa=0.586: o registro não foi removido. O título normalizado "ransomware emergency department crowding at neighbouring hospitals" difere de "ransomware and emergency department crowding…" porque o normalizador retira o "&", mas não o converte em "and". Correção: substituir "&" por " and " antes de retirar a pontuação e acrescentar uma revisão manual das quase correspondências (por exemplo, títulos cujas formas normalizadas diferem por uma palavra). (3) Partindo do laboratório original, mudar para I a decisão de B sobre o artigo das subestações dá po=0.733 pe=0.547 kappa=0.412. (4) A concordância bruta caiu 6,7 pontos, mas o kappa caiu de 0,571 para 0,412 porque o kappa reescala a concordância acima do acaso para a faixa restante: com a concordância ao acaso perto de 0,55, apenas 0,45 da escala é "conquistado", então uma discordância a mais entre 15 registros remove uma grande parte dele.

EX005 — Repare os critérios de elegibilidade. Critérios para a literatura cinzenta: incluir relatórios de órgãos governamentais, reguladores, órgãos de auditoria, coalizões de saúde, agências de EMS ou associações de hospitais que descrevam os efeitos operacionais (atividade, desvio, atrasos, cancelamentos) de um incidente cibernético ou de uma interrupção de TI específicos sobre uma ou mais organizações de saúde; excluir documentos que descrevam procedimentos, orientações ou produtos sem relatar os efeitos de um evento, e material de marketing de fornecedores. Decisões: o memorando do departamento estadual de saúde sobre procedimentos de indisponibilidade → excluir (procedimento sem efeitos), a menos que o texto completo relate os efeitos de um evento; o relatório de exercício da coalizão → excluir para RQ1–2 (um exercício não é um evento), mas mantê-lo numa lista separada de "métodos e planejamento", útil para a RQ3 e para a discussão; o white paper do fornecedor → excluir. Um registro que continue indecidível pela primeira página vai para a revisão do texto completo em vez de ser excluído, para que a incerteza não reduza silenciosamente a base de evidências.

EX006 — Matriz de conceitos. Linha do NAO: unidade — organizações do NHS na Inglaterra; exposição — WannaCry, maio de 2017; comparação — nenhuma no sentido estatístico; uma investigação do que aconteceu e por quê; desfechos — pelo menos 81 dos 236 trusts afetados, mais 603 organizações de atenção primária e outras do NHS (incluindo 595 consultórios de clínica geral); 6.912 consultas registradas como canceladas e um total estimado de mais de 19.000; desenho — investigação de auditoria; sustenta — a escala da interrupção e a diferença entre os cancelamentos registrados e os estimados; rivais levantados ou deixados em aberto — registro incompleto; desconexão preventiva por organizações não afetadas. Parágrafo-modelo: "As evidências sobre os efeitos regionais vêm de três tipos de estudo. As investigações de auditoria (NAO, 2017) estabelecem a escala da interrupção, mas se apoiam em contagens registradas que subestimam os totais. As análises de dados administrativos (Ghafur et al., 2019) quantificam a redução da atividade nos trusts infectados — cerca de 6% menos internações por hospital infectado por dia — e não encontram diferença nos óbitos em A&E, uma medida que os autores chamam de grosseira. Um estudo antes e depois de DEs vizinhos (Dameff et al., 2023) associa um período de ataque a um aumento de volume em vizinhos não afetados. Nenhum estudo ainda compara os vizinhos com uma região não afetada nem examina a distância…" A rubrica recompensa a distinção entre registrado e estimado e a organização por conceito.

EX007 — Memorando do estimando e do escopo. Estimando da RQ1: "Para cada um de Alder Point, Brookfield e Calloway: exp(β₂) − 1, a diferença percentual entre a média diária de chegadas de ambulâncias durante os dias 0–20 e as chegadas esperadas a partir da tendência pré-evento do DE, ajustada pela variação simultânea das chegadas agregadas de Wexmoor." RQ2: "o padrão dessas três estimativas em função da distância, resumido como a diferença entre a estimativa do DE mais próximo e a média das estimativas dos dois DEs mais distantes, com intervalos." Estimandos alternativos que um analista descuidado poderia calcular: o aumento no primeiro dia (capta apenas o choque inicial); o aumento em relação aos mesmos dias do ano anterior (confundido por um ano de tendência e por uma estação diferente); o número total de pacientes adicionais em 21 dias (uma escala diferente, sensível ao tamanho da linha de base). Alegação esperada como em §1.2.1; fora do escopo: desfechos dos pacientes, o efeito do ransomware como distinto do desvio, outras regiões.

Capítulo 2: EX008–EX014

EX008 — Perfil setorial (exemplo: água). Unidade de consequência: pessoas atendidas por um sistema sem água que atenda a um limiar declarado de pressão ou de qualidade, por uma duração declarada, e o número e a duração dos avisos à população. Reservas: armazenamento, dosagem e monitoramento manuais, interconexões com sistemas vizinhos, distribuição de água engarrafada. Instrumentos: o America's Water Infrastructure Act of 2018 (avaliações de risco e resiliência e planos de resposta a emergências para os sistemas comunitários de água que atendem mais de 3.300 pessoas, segundo a página da EPA); na UE, a água potável é um setor da NIS2 e da CER. Evidências: avisos à população (públicos), resumos da agência estadual de primazia, levantamentos com concessionárias, entrevistas; raramente dados operacionais. Pergunta: "Num estado, quantos avisos de fervura da água, ao longo de cinco anos, foram atribuídos pela agência de primazia a falhas de equipamento ou do sistema de controle, e quanto tempo duraram?" Caso público: Oldsmar, codificado com sua revisão (§2.5). A nota máxima exige citações exatas dos instrumentos e uma pergunta ajustada às evidências públicas ou agregadas.

EX009 — Distorção do catálogo. (1) Saída como em §2.9. (2) Com o multiplicador em 1,0: a população não muda; catálogo n=491, mean 31.8 h, median 18.9 h, share>24h 0.42; contagens anuais catalogadas 99, 73, 90, 75, 77, 77. (3) A distorção da gravidade persiste porque é causada pela divulgação dependente da gravidade, que opera todos os anos independentemente da obrigação; a obrigação muda apenas quantos incidentes são divulgados, e não quais são favorecidos. (A média do catálogo sobe ligeiramente sem a obrigação porque a obrigação admite proporcionalmente mais incidentes curtos.) A tendência desaparece: os anos 4–6 agora se parecem com os anos 1–3, salvo pelo ruído. (4) Pergunta respondível: "Entre os incidentes catalogados, a parcela que envolve uma característica específica (por exemplo, desvio de ambulâncias) mudou após a obrigação?" — ainda afetada se a obrigação mudar quais incidentes são divulgados, então as respostas mais seguras descrevem características dentro do catálogo, e não taxas. A rubrica recompensa atribuir cada distorção ao seu mecanismo.

EX010 — Protocolo do seminário sobre Ghafur et al. (2019). Alegação (citada do resumo): "Entre os hospitais infectados pelo ransomware WannaCry, houve uma redução significativa no número de atendimentos e de internações, o que correspondeu a £5,9 milhões em atividade hospitalar perdida. Não houve aumento relatado da mortalidade, embora esta seja uma medida grosseira de dano ao paciente." Evidências: Hospital Episode Statistics dos trusts do NHS na Inglaterra, de 1º de abril a 30 de junho de 2017, agregadas por hospital-dia; 34 trusts infectados comparados com trusts não infectados. Desenho: diferença em diferenças por mínimos quadrados ordinários com efeitos fixos de hospital e termos de dia da semana e de feriado bancário, comparando a semana do WannaCry com semanas de linha de base; os desfechos foram consultas ambulatoriais canceladas, internações eletivas e de emergência, atendimentos de A&E e óbitos em A&E. Garantia: os trusts não infectados mostram o que os trusts infectados teriam feito naquela semana. Rivais que o artigo trata: a flutuação nacional (as semanas anteriores e posteriores são modeladas e a variação de todos os trusts se mostra dentro da volatilidade normal); as diferenças invariantes no tempo entre hospitais (efeitos fixos). Rivais que ele levanta ou deixa em aberto: a falha de registro nos trusts infectados — os próprios autores observam que, se os sistemas usados para codificar os dados administrativos estavam fora do ar, os dados podem não refletir plenamente os eventos, um rival de medição específico dos estudos de interrupção de TI; trusts "afetados", mas não infectados, que se desconectaram por precaução, o que complica o grupo de comparação (o artigo os testa separadamente); e a transferência de carga para os vizinhos, que o artigo nomeia como lacuna ("não temos nenhuma compreensão do efeito de rede"). Transferência: para sistemas de saúde centralizados, com dados comparáveis e ataques curtos. E daí: mesmo um ataque curto teve custos mensuráveis de atividade e financeiros. Próximo estudo: a atividade dos hospitais vizinhos durante fechamentos e desvios, que é exatamente a pergunta do Spillover Study. A nota máxima inclui o rival da falha de registro e uma descrição acurada da comparação.

EX011 — Classificação do mecanismo.

A rubrica recompensa reconhecer "ambos" onde a substituição se segue à falha de uma dependência.

EX012 — Codificando um incidente revisado. Entrada de março de 2021: alegação — "um usuário remoto não autorizado mudou o ponto de ajuste do hidróxido de sódio na estação de tratamento de água de Oldsmar"; fonte — alerta da CISA AA21-042A e declarações públicas das autoridades locais; tipo de fonte — oficial; data da alegação — fevereiro de 2021; situação — relatada, sob investigação; última verificação — março de 2021. Atualização de abril de 2023: manter a alegação original e suas fontes, acrescentar revisão — "o ex-administrador municipal declarou que o FBI concluiu que o evento provavelmente foi causado por um funcionário; o FBI disse que não pôde confirmar uma intrusão direcionada" (WUSF, 13 de abril de 2023); situação — contestada (ou "não confirmada"); última verificação — abril de 2023. Regra de análise: uma análise que conta as intrusões confirmadas exclui a entrada, enquanto uma análise de sensibilidade que inclui as entradas contestadas relata as duas contagens. Procedimento de nova verificação para 2026: buscar declarações oficiais posteriores a abril de 2023 (registros do FBI, atualizações do alerta da CISA), registrar o que foi encontrado e a data.

EX013 — Contradição aparente. Dimensões da matriz: unidades (trusts infectados versus vizinhos não afetados), direção esperada (a atividade cai versus sobe), sistema de saúde e ano (NHS 2017 versus San Diego 2021), duração (cerca de uma semana versus um mês), desfechos (internações, atendimentos, cancelamentos, óbitos em A&E versus censo, chegadas, esperas, métricas de AVC), desenho (dados administrativos com linha de base e comparação entre infectados e não infectados versus antes e depois dentro dos vizinhos). Elas não conflitam: medem as extremidades opostas da mesma transferência de carga. Um estudo combinado mediria tanto a atividade perdida da organização atacada quanto a atividade ganha pelos vizinhos no mesmo evento, com uma região de comparação não afetada, para que o efeito regional líquido e sua redistribuição possam ser estimados juntos.

EX014 — Apresentação no seminário. Avaliada pela rubrica. Uma entrega de nota máxima resume o artigo nos termos dele antes da crítica; apresenta os rivais como perguntas ("A variação de abril para maio poderia refletir a estação do ano?"); e usa os três registros nas respostas preparadas — por exemplo: "O artigo diz que a organização atacada respondia por cerca de um quarto das altas da região. Eu infiro que a retirada de uma organização menor deslocaria menos carga. Não sei como o resultado diferiria numa região com muitos prestadores; isso exigiria uma comparação entre várias regiões." A reflexão nomeia uma mudança específica de leitura provocada pelos colegas.

Capítulo 3: EX015–EX020

EX015 — Escolha e defenda um desenho. Estimando: variação percentual das transações semanais com cartão por categoria de comércio na região afetada durante a semana da interrupção, em relação ao contrafactual obtido da tendência da própria região e das regiões não afetadas. Comparação: ITS não controlada (falha se ocorrer um choque nacional naquela semana — feriados, dias de pagamento); ITS controlada/diferença em diferenças com três regiões não afetadas (precisa de tendências paralelas; verificável ao longo de dois anos de dados semanais); controle sintético com três regiões doadoras × 40 categorias (possível no nível da categoria, mas três regiões doadoras são um conjunto ralo). Escolha: ITS controlada por categoria, com um controle sintético como robustez. Percepção-chave para a nota máxima: a resolução semanal dilui uma interrupção de três dias — a interrupção ocupa no máximo três sétimos de uma semana —, então os efeitos serão atenuados e a recuperação dentro da mesma semana pode anular parte da queda; peça dados diários antes de se comprometer. Abandono: as razões do período prévio entre a região afetada e as de comparação mostram tendências divergentes ou rupturas que o modelo não consegue absorver.

EX016 — Análise do desenho. (1) Saída como em §3.3.3. (2) Com um efeito verdadeiro de 0,20 sob o aumento sazonal, as estimativas médias do desenho controlado são cerca de +0,196, +0,202 e +0,199, e suas parcelas sinalizadas são 0,56 (28 dias), 0,73 (90 dias) e 0,77 (180 dias); o desenho não controlado sinaliza todos os estudos simulados (1,00), mas suas estimativas médias são cerca de +0,30 — enviesadas para cima pela estação. (3) O desenho controlado detecta um efeito de cerca de 20% em aproximadamente três quartos dos estudos com 180 dias de linha de base; não consegue detectar 10% de forma confiável. (4) RQ1 revisada: "Quanto variaram as chegadas diárias de ambulâncias em cada DE vizinho durante o desvio em relação ao contrafactual ajustado pela comparação, e quais variações os dados conseguem descartar?" A rubrica premia a passagem de um enquadramento de teste para um enquadramento de estimação e a declaração honesta do efeito detectável.

EX017 — Riscos na submissão ao comitê de ética. Partes interessadas: os operadores entrevistados; a concessionária; seus clientes; a agência reguladora com primazia; as concessionárias vizinhas que compartilham pessoal ou interconexões; o pesquisador. Riscos e salvaguardas por princípio do Menlo: respeito às pessoas — uma concessionária pequena pode ter dois ou três operadores, então qualquer descrição de função os identifica; relatar as funções apenas no nível do setor, revisar as citações, permitir a desistência; beneficência — publicar que o monitoramento da desinfecção de uma concessionária pequena falhou por horas poderia revelar uma fraqueza que outros poderiam explorar; reter a identidade da instalação e os detalhes técnicos, compartilhar os detalhes em privado com a concessionária; justiça — evitar concentrar o ônus da pesquisa em concessionárias pequenas e com poucos recursos que não podem recusar um pesquisador ligado a um regulador; lei e interesse público — cumprir quaisquer obrigações de confidencialidade relativas às informações de segurança da concessionária e as regras da instituição para pesquisa com seres humanos. Texto da folha de informações: "Não usaremos o seu nome nem o nome da sua concessionária em nada que publicarmos e removeremos os detalhes que possam identificá-lo. Como poucas pessoas fazem o seu trabalho nesta região, alguém que conheça bem a concessionária ainda poderia reconhecê-lo, e não podemos descartar isso por completo."

EX018 — Plano de gestão de dados.

EX019 — Plano de pré-análise. Um plano de nota máxima fixa: os estimandos (EX007); o desfecho primário (chegadas diárias de ambulâncias, conforme definidas nos dicionários de dados dos custodiantes) e o desfecho secundário (mediana diária de minutos da chegada até o primeiro clínico); a comparação (DEs de Wexmoor agregados); as janelas (dias −180 a +89; desvio 0–20; período posterior 21–89); o modelo (§6.2, razão logarítmica com deslocamento de 0,5, tendência linear, dois degraus); os intervalos (Newey–West, defasagem 7; defasagens 0 e 14 como sensibilidade); a robustez (cada DE de Wexmoor separadamente; linhas de base de 90 e 120 dias; janelas do evento de 14 e 28 dias; feriados excluídos; janelas placebo); a multiplicidade (um desfecho primário; três locais relatados em conjunto; desfecho secundário descrito como tal); os desvios (registro datado com a razão e se os resultados tinham sido vistos); o acesso prévio aos dados ("um extrato de 35 dias de linha de base de Alder Point, anterior ao dia −60, foi examinado apenas quanto à completude").

EX020 — Auditoria da reprodutibilidade. Avaliado pela rubrica. Problemas típicos que uma segunda pessoa encontra: o README não diz que o Laboratório 6 precisa do Laboratório 4 salvo como lab4_data.py na mesma pasta; a versão do Python não está registrada; uma saída foi produzida com uma semente editada; o Laboratório 3 leva vários segundos e parece travado. Correções: ordem de execução e nomes de arquivo explícitos; python3 --version registrado em environment.txt; sementes declaradas junto a cada comando; tempos de execução esperados declarados.

Capítulo 4: EX021–EX026

EX021 — Tabela de rivais (exemplo das farmácias). Previsões da hipótese principal: as dispensações sobem nas independentes quando começa a interrupção da rede e voltam a cair quando ela termina; o aumento é maior perto das lojas da rede; não há aumento em áreas comparáveis não afetadas; o canal são as transferências de clientes novos (pacientes novos na farmácia independente), e não pacientes existentes dispensando mais; os farmacêuticos relatam transferências. Rivais: estação (receitas da estação respiratória — prevê aumentos em toda parte; testar com uma área de comparação); mudança de operadora ou de formulário naquela semana (prevê variações ligadas a medicamentos ou planos específicos; testar por classe de medicamento e por pagador); medição (um acúmulo no sistema de autorizações liberando dispensações atrasadas — prevê um pico de dispensações datadas antes, mas processadas tarde; testar a data da dispensação versus a data do processamento); choque na comparação (testar cada área de comparação separadamente); fechamentos de lojas da rede não relacionados ao ataque (testar os registros por loja); acaso (semanas placebo). A nota máxima exige previsões distintas, e não uma lista de temas.

EX022 — Duração da linha de base e a estimativa ingênua. Com pre=(-56, -1) para todos os locais e para a comparação agregada:

A variação de Wexmoor agregada é +0,054. As estimativas ingênuas mudam (Alder Point de +33,0% para +30,2%) porque a linha de base agora cobre outro trecho da série, com outro ruído e um nível sazonal ligeiramente diferente; as estimativas relativas mudam pouco (Alder Point de +24,6% para +23,5%; Calloway de +1,3% para +1,4%) porque a estação afeta as duas regiões de forma semelhante, de modo que a parte da estação que a linha de base inclui é em grande parte cancelada na razão. W1 e W2 em relação a Wexmoor agregada ficam perto de zero por construção, já que compõem a comparação agregada.

EX023 — Diagrama causal. Acrescente um nó "Tenda" com as setas Tenda → chegadas espontâneas a Brookfield (forte) e Tenda → chegadas de ambulâncias a Brookfield (possível, se o EMS levou pacientes de baixa gravidade à tenda). A tenda é uma cointervenção simultânea ao desvio e concentrada perto de Brookfield. Se ela absorveu pacientes de baixa gravidade, ela reduz as chegadas a Brookfield e enviesa a estimativa de transbordamento de Brookfield em direção a zero (ou abaixo). Ela também distorce o gradiente da RQ2, fazendo a queda de Alder Point para Brookfield parecer mais acentuada. Respostas: obter o atendimento diário da tenda; analisar separadamente os canais de ambulâncias e de chegadas espontâneas; executar uma análise de sensibilidade que acrescente de volta os atendimentos da tenda que os registros do EMS atribuem à área de captação de Brookfield. Alder Point é menos afetado se a sua área de captação não se sobrepõe à da tenda; verificar com os registros de destino do EMS.

EX024 — Controles negativos.

EX025 — Uma explicação concorrente documentada. Explicações: o atraso no tratamento causado pelo desvio decorrente do ataque causou a morte, versus a condição subjacente da paciente. Conforme relatado publicamente, os promotores concluíram, após a autópsia, que o atraso não foi decisivo e que a condição médica sozinha causou a morte (MIT Technology Review, novembro de 2020). Uma alegação sobre uma morte individual exige o contrafactual individual — esta paciente teria sobrevivido com um tratamento mais precoce? —, que uma autópsia e uma revisão clínica às vezes conseguem tratar; uma alegação no nível da população pergunta se os desfechos de um grupo de pacientes sensíveis ao tempo pioram durante os desvios, o que exige comparar grupos e não diz nada definitivo sobre nenhuma morte isolada. Pergunta populacional ética: "Durante desvios de ambulâncias num centro regional de AVC, os tempos da porta ao tratamento dos pacientes com AVC na região variaram, em relação a períodos comparáveis sem desvio?" — usando dados agregados ou de registros, com as aprovações adequadas.

EX026 — A decisão como exposição. A exposição do estudo é o desvio porque foi ele que deslocou as ambulâncias; o ataque importou por meio da decisão de desviar. Duas decisões alternativas: o Kestrel poderia ter permanecido aberto às ambulâncias com procedimentos de contingência (sem desvio, pouco transbordamento), ou desviado apenas categorias específicas, como AVC e trauma (transbordamento parcial concentrado nos centros especializados). Alegação reescrita: "Num evento sintético, um desvio de ambulâncias de 21 dias após um ataque de ransomware foi seguido de um aumento estimado de 24% nas chegadas de ambulâncias ao DE vizinho mais próximo; o resultado diz respeito às consequências do desvio tal como decidido, e não do ransomware enquanto tal." Pergunta posterior: "Que informações e critérios os dirigentes hospitalares usam para decidir se e por quanto tempo desviar ambulâncias durante um incidente cibernético, e como essas decisões variam?"

Capítulo 5: EX027–EX032

EX027 — Resumo da proposta. Modelo (cerca de 200 palavras): "Quando um hospital desvia ambulâncias após um incidente cibernético, os departamentos de emergência vizinhos absorvem a carga, mas quanto e até onde ela se espalha raramente é medido. Este estudo pergunta como variaram as chegadas diárias de ambulâncias aos três DEs mais próximos da Kestrel Health durante o seu desvio de 21 dias relacionado a ransomware (RQ1), se a variação diminuiu com a distância (RQ2) e como a carga foi redistribuída na prática (RQ3). O estimando primário é, para cada DE, a diferença percentual entre a média diária de chegadas durante o desvio e as chegadas esperadas pela sua tendência pré-evento, ajustada pela variação simultânea em dois DEs de uma região não afetada (Wexmoor). O desenho é uma série temporal interrompida controlada sobre dados diários dos custodiantes (180 dias antes, 90 dias a partir do início do desvio), com janelas placebo e verificações de robustez pré-especificadas, e dez entrevistas semiestruturadas com a equipe dos DEs, do EMS e da coalizão, analisadas tematicamente e integradas num quadro conjunto. Aprovação ética [status]; acordos de dados [status]. O estudo contribuirá com uma estimativa com intervalo para cada DE, um relato do mecanismo e recomendações para o planejamento regional de desvios, e não estimará desfechos de pacientes." Fixados: pergunta, estimando, desenho, comparação e dados; em aberto: status da aprovação, número de entrevistas. A nota máxima exige que o colega reformule o estimando como "variação percentual em relação a uma tendência ajustada pela comparação", e não como "o aumento de pacientes".

EX028 — Cronograma e registro de riscos. Caminho crítico: aprovação ética → acordo com cada concessionária para ver os seus relatórios de exercícios → coleta dos documentos; as entrevistas podem começar após a aprovação, mas o acesso aos relatórios depende da revisão jurídica de cada concessionária. Cronograma: semestre 1, pergunta e literatura, primeiros contatos; semestre 2, ética, acordos, roteiro de entrevista e piloto; semestre 3, entrevistas e análise documental; semestre 4, integração, redação e exame. Riscos (probabilidade/impacto; mitigação; gatilho; responsável): (1) as concessionárias se recusam a compartilhar os relatórios de exercícios (alta/alto; pedir resumos com tarjas, ou entrevistar sobre o exercício em vez de compartilhá-lo; nenhum acordo de duas das três concessionárias até o fim do semestre 2; candidato); (2) os operadores das concessionárias pequenas não podem ser liberados para as entrevistas (média/alto; oferecer versões de 30 minutos e horários fora do turno; menos de seis agendadas até a metade do semestre 3; candidato); (3) risco de identificação numa população minúscula (alta/médio; relato no nível do setor, revisão das citações; qualquer preocupação de um participante; orientador); (4) uma concessionária sofre um incidente durante o estudo (baixa/alto; pausar, nenhuma pergunta sobre o incidente; notificação da concessionária; candidato); (5) os relatórios de exercícios contêm detalhes sensíveis para a segurança (alta/médio; leitura no local ou com tarjas, sem cópias; qualquer documento marcado como sensível; orientador); (6) aprovação da agência estadual exigida para a participação (média/médio; consultar cedo a agência com primazia; pedido da agência; orientador).

EX029 — Auditoria e repetição do piloto. (1) Primeira execução: completude de 0,943; FAIL na completude e na faixa; PASS nas duplicatas e nos dias de calendário → AMEND AND RE-PILOT (no outcome analysis). (2–3) Saída do extrato corrigido:

line  6: missing: walkins
line 13: missing: median_wait_min
missing calendar days: []
implausibly low days (<70% of mean): [('2025-03-30', 23)]
cell completeness 0.986 over 35 days x 4 fields
  PASS  completeness >= 0.97
  PASS  no conflicting duplicates
  PASS  <= 1 missing calendar day
  PASS  all values in range
decision: GO

(Os números de linha mudam porque a duplicata foi removida: o tempo de espera ausente agora está na linha 13.) (4) A auditoria ainda relata duas células ausentes, que o custodiante confirmou nunca terem sido registradas; elas permanecem ausentes, e o plano do estudo principal declara como os valores ausentes são tratados (nenhum deles é o desfecho primário, as chegadas de ambulâncias). O dia baixo de 30 de março permanece porque é um dado real: o custodiante identificou seis horas de indisponibilidade do prontuário eletrônico, então, pela nova regra, o dia é sinalizado no livro de códigos e a análise principal é executada com e sem os dias sinalizados. Nada é imputado no piloto.

EX030 — Piloto do roteiro de entrevista. Avaliado pela rubrica. Mudanças típicas de nota máxima: perguntas que pedem avaliações ("O desvio foi bem conduzido?") substituídas por perguntas ancoradas no tempo e nos registros ("O que você sabia às 06:00, e por quem?"); perguntas duplas desmembradas; jargão substituído pelos termos dos próprios participantes (por exemplo, "entrar em desvio"); duração reduzida à meta. Decisão sobre o registro de desvios: mudanças feitas antes de qualquer entrevista do estudo são registradas como emendas ao protocolo, com a data e a razão, e anotadas como feitas antes da coleta de qualquer dado; uma mudança depois que as entrevistas do estudo começaram é um desvio e é relatada como tal.

EX031 — Critérios de progressão.

Nenhum critério diz respeito ao que os respondentes responderam (por exemplo, a parcela com simulados de contingência): isso seria um desfecho, e não viabilidade.

EX032 — Memorando ao orientador sobre o escopo. Benefícios: o atendimento de AVC é um desfecho sensível ao tempo que importa aos planejadores; os dados estão sendo oferecidos. Custos: os dados de saúde individuais exigem uma aprovação ética nova ou emendada e um novo acordo de dados (com implicações do artigo 9º do GDPR ou da HIPAA na jurisdição pertinente; no Brasil, da LGPD, art. 11, por se tratar de dado pessoal sensível) — meses no caminho crítico no semestre 3; o pequeno número de pacientes com AVC em 21 dias torna qualquer estimativa imprecisa; acrescentar um desfecho após o registro cria multiplicidade e não pode deslocar o desfecho primário fixado. Decisão (defensável): recusar para a dissertação, aceitar como trabalho futuro. Entrada no registro de desvios: "Data; oferta de dados de pacientes com AVC pela coalizão; recusada para este estudo por causa das aprovações, do cronograma e da precisão; nenhum dado de desfecho havia sido visto; registrada como proposta de trabalho futuro." Trabalho futuro: um estudo separado e aprovado que agregue vários eventos de desvio com dados de registros sobre os tempos da porta ao tratamento. Aceitar também é defensável se o cronograma permitir uma nova aprovação e o desfecho for rotulado como exploratório e secundário.

Capítulo 6: EX033–EX038

EX033 — Execute e relate a análise principal. Saída do Laboratório 6: AP +0,244 (+0,067, +0,449), faixa placebo de −0,190 a +0,166, posto 1/16; BF +0,058 (−0,067, +0,199), posto 8/16; CG +0,008 (−0,093, +0,121), posto 9/16; tempo de espera em Alder Point +5,9 minutos (+2,6 a +9,2). Parágrafo modelo: "Durante o desvio de 21 dias, as chegadas de ambulâncias a Alder Point (6 km) foram 24,4% maiores do que o esperado pela sua tendência pré-evento em relação à comparação de Wexmoor (intervalo de 95% de 6,7% a 44,9%), maiores do que todas as 15 estimativas placebo das janelas pré-evento (posto 1 de 16). Em Brookfield (14 km) a estimativa foi +5,8% (−6,7% a 19,9%) e em Calloway (38 km), +0,8% (−9,3% a 12,1%); ambas são inconclusivas: os dados são compatíveis com nenhuma variação e com aumentos de até cerca de 20% e 12%, respectivamente, e ambas ficam no meio das suas distribuições placebo. As estimativas diminuem com a distância, mas os intervalos de Brookfield e de Calloway se sobrepõem muito, então os dados não conseguem distinguir uma queda gradual de um efeito confinado ao DE mais próximo." Frase do tempo de espera: "O tempo de espera mediano em Alder Point foi 5,9 minutos maior durante o desvio (2,6 a 9,2), mas este modelo não tem série de comparação e inclui a superlotação sazonal, então provavelmente superestima a contribuição do desvio."

EX034 — Sensibilidade à defasagem.

Diagnósticos: autocorrelação dos resíduos de 0,03 na defasagem 1 e de −0,124 na defasagem 7; Durbin–Watson de 1,92. Uma defasagem maior nem sempre alarga o intervalo porque o estimador soma autocovariâncias amostrais do escore ponderadas por Bartlett, e estas podem ser negativas (como na defasagem 7 aqui); incluir mais defasagens pode acrescentar termos negativos e encolher a variância. Com pouca autocorrelação, os três intervalos refletem sobretudo o ruído amostral das autocovariâncias. Relate a defasagem 7 pré-especificada como primária, com as defasagens 0 e 14 como sensibilidade; nunca escolha a mais estreita depois de vê-la.

EX035 — Aritmética dos placebos. (1) Com 15 janelas placebo mais a janela real, o valor-p unilateral baseado em postos é posto/16: Alder Point 1/16 = 0,0625, Brookfield 8/16 = 0,50, Calloway 9/16 ≈ 0,56. (2) O menor valor atingível é 1/(n+1): ele chega a 0,05 com n = 19 janelas (1/20) e a 0,01 com n = 99 (1/100); para ficar estritamente abaixo deles são necessárias 20 janelas (1/21 ≈ 0,048) e 100 janelas (1/101 ≈ 0,0099). (3) As primeiras janelas placebo têm períodos prévios curtos — a janela que começa no dia −150 tem apenas 30 dias de linha de base a partir do dia −180 —, então suas tendências são estimadas com imprecisão e suas estimativas variam mais do que o ajuste real, que tem 180 dias de linha de base; isso torna o teste placebo conservador. (4) Iniciar janelas placebo todos os dias em vez de a cada sete dias (o que acrescenta janelas, embora janelas sobrepostas sejam fortemente dependentes, de modo que o posto é menos informativo do que a contagem sugere), ou usar as mesmas janelas de calendário num ano anterior, se os custodiantes puderem fornecê-lo. Os dados pós-evento não podem ser usados.

EX036 — Repare o desfecho secundário. Confundimento: o modelo do tempo de espera não tem série de comparação, então o aumento sazonal da superlotação durante a janela do evento entra na estimativa (no gerador, até 3 minutos de estação e um efeito verdadeiro do desvio de 4 minutos). Desenhos: (a) usar os tempos de espera de Calloway como comparação dentro da região, já que o seu efeito nas chegadas é próximo de zero — isso exige obter a série de tempos de espera de Calloway junto ao seu custodiante e ainda presume que Calloway compartilha o padrão de superlotação sazonal de Alder Point; (b) usar uma série publicada de tempos de espera dos DEs de outra região, se houver uma em resolução diária, como comparação externa. Alegação sustentada: "O tempo de espera mediano de Alder Point foi maior durante o desvio, coerente com um aumento atribuível ao desvio; a magnitude está confundida pela estação." Frase de limitação: "A estimativa do tempo de espera não tem série de comparação e, portanto, inclui a superlotação sazonal; provavelmente superestima o efeito do desvio."

EX037 — Concordância entre codificadores. Concordância observada: 9 de 12 = 0,75 (divergências nos trechos 4, 7 e 11). Contagens marginais — A: DIV 3, INFO 4, STAFF 3, PROC 2; B: DIV 3, INFO 2, STAFF 4, PROC 3. Concordância ao acaso: (3·3 + 4·2 + 3·4 + 2·3)/144 = 35/144 ≈ 0,243. κ = (0,75 − 0,243)/(1 − 0,243) ≈ 0,670. Diagnósticos: o trecho 4 ("duas equipes esperando… ninguém para receber a passagem do caso") trata da consequência das chegadas desviadas para a equipe — encaixa-se em DIV e STAFF; o trecho 7 ("O despacho não sabia…, então a equipe decidiu na estrada") trata de uma informação ausente que causou uma decisão de destino — INFO e DIV; o trecho 11 ("se começávamos o processo de triagem em papel ou se esperávamos notícia da TI") é uma incerteza sobre o procedimento causada por informação ausente — INFO e PROC. Os três são problemas de fronteira no livro de códigos, e não erros dos codificadores. Definição revisada: "INFO — o conteúdo, o momento ou a ausência de informações sobre o incidente ou o desvio. Codifique INFO sempre que o ponto principal do trecho for o que alguém sabia ou não sabia; se o trecho também descrever a decisão ou a ação que se seguiu, codifique-o duplamente com DIV ou PROC." A dupla codificação muda a forma de calcular a concordância (por código, presença ou ausência), o que o livro de códigos precisa declarar.

EX038 — Quadro conjunto. Use as quatro linhas de §6.7 e acrescente, por exemplo: Quantitativo: Calloway +0,8%, inconclusivo e centrado perto de zero. Qualitativo: a equipe de Calloway descreveu "nenhuma mudança perceptível", além de duas transferências. Metainferência: confirmação — as duas vertentes sugerem que pouca carga chegou ao DE mais distante. Para a discordância de Brookfield, explicações e evidências: baixo poder (verificar se o intervalo inclui o efeito na escala do gerador, o que ocorre); uma falta simultânea de pessoal em Brookfield (verificar as escalas ou as horas de pessoal terceirizado); percepções ancoradas nas piores noites (verificar as chegadas por hora ou os registros de pacientes em espera por leito em busca de picos noturnos); lembranças moldadas pela narrativa pós-ação da coalizão (comparar as entrevistas com registros contemporâneos datados). A nota máxima mantém a discordância no quadro e nomeia as evidências que poderiam resolvê-la, sem deixar nenhuma vertente se sobrepor à outra.

Capítulo 7: EX039–EX044

EX039 — Melhore a verificação de proveniência. (1) Saída do Laboratório 7 como em §7.10. (2–4) Uma versão da verificação que leva em conta as unidades:

# EX039 worked answer: unit-aware provenance check (extends Lab 7)
import re
RESULTS = {  # name: (value, unit)
    "AP_effect": (24.4, "%"), "AP_lo": (6.7, "%"), "AP_hi": (44.9, "%"),
    "BF_effect": (5.8, "%"), "BF_lo": (-6.7, "%"), "BF_hi": (19.9, "%"),
    "CG_effect": (0.8, "%"), "CG_lo": (-9.3, "%"), "CG_hi": (12.1, "%"),
    "AP_naive": (33.0, "%"), "placebo_n": (15, "count"), "event_days": (21, "day"),
    "wait": (5.9, "min"), "wait_lo": (2.6, "min"), "wait_hi": (9.2, "min"),
}
UNITS = {"%": "%", "minutes": "min", "minute": "min", "day": "day", "days": "day",
         "placebo": "count", "windows": "count"}
CAUSAL = ("caused", "proves", "significant increase", "due to the attack")
NUM = r"-?\d+(?:\.\d+)?"

def unit_after(text, end):
    m = re.match(r"\s*-?\s*(%|[A-Za-z]+)", text[end:])
    if m and m.group(1).lower() == "to":              # "2.6 to 9.2 minutes": take the unit after the pair
        m2 = re.match(r"\s*to\s*" + NUM, text[end:])
        return unit_after(text, end + m2.end()) if m2 else None
    return UNITS.get(m.group(1).lower()) if m else None

def check(text):
    problems = []
    for m in re.finditer(NUM, text):
        x, u = float(m.group()), unit_after(text, m.end())
        if x == 95 and text[m.end():m.end() + 10] == "% interval":
            continue                                  # the interval level, declared in the methods
        ok = any(unit == u and (abs(x - v) <= 0.05 or (x.is_integer() and round(v) == x))
                 for v, unit in RESULTS.values())
        if not ok:
            problems.append(f"untraced number {m.group()!r} (unit: {u})")
    for site in ("Alder Point", "Brookfield", "Calloway"):
        i = text.find(site)
        if i >= 0 and not re.search(NUM + r"%?\s+to\s+" + NUM, text[i:i + 140]):
            problems.append(f"no interval near {site}")
    problems += [f"check wording: {p!r}" for p in CAUSAL if p in text.lower()]
    return problems

DRAFT = open("lab7_provenance.py").read().split('DRAFT = """')[1].split('"""')[0]
FIXED = """During the 21-day diversion, ambulance arrivals at Alder Point rose by 24.4% (95% interval 6.7% to 44.9%)
relative to the Wexmoor comparison hospitals, larger than all 15 placebo estimates. Brookfield's change of 5.8%
(-6.7% to 19.9%) and Calloway's of 0.8% (-9.3% to 12.1%) were inconclusive. A simple before-and-after comparison
would have suggested a 33% rise. Median waiting time at Alder Point was 5.9 minutes longer (2.6 to 9.2 minutes),
an estimate without a comparison series that includes seasonal crowding."""
for label, text in (("draft", DRAFT), ("fixed", FIXED)):
    print(label + ":", "; ".join(check(text)) or "all numbers traced")

Saída:

draft: untraced number '16' (unit: count); no interval near Calloway; check wording: 'caused'; check wording: 'significant increase'
fixed: all numbers traced

A verificação agora compara cada número apenas com resultados da mesma unidade, herdando a unidade para o primeiro número de um par como "2.6 to 9.2 minutes". Constatações sobre a minuta: o "6 minutes" da minuta agora é rastreado até o resultado do tempo de espera (5,9 minutos, arredondado), em vez de corresponder falsamente aos 5,8% de Brookfield; "16 placebo windows" não é rastreado (há 15 janelas, sendo a 16ª estimativa a real); Calloway não tem intervalo; duas expressões causais são sinalizadas. Os intervalos de Alder Point e de Brookfield estão presentes na minuta e não são sinalizados. (5) O parágrafo corrigido (no script, como FIXED) usa "rose by" com "relative to the Wexmoor comparison hospitals" em vez de "caused", chama Brookfield e Calloway de inconclusivos, dá todos os intervalos e declara a limitação do tempo de espera. Um verificador não consegue julgar plenamente a redação: "were inconclusive" só está certo porque uma pessoa leu os intervalos.

EX040 — Limitações com direção. Ordenadas pela ameaça à conclusão:

EX041 — Resumo estruturado. Avaliado pela rubrica; as frases-chave: Desenho — "série temporal interrompida controlada das chegadas diárias de ambulâncias (180 dias antes, 90 dias a partir do início do desvio) com uma região de comparação não afetada, janelas placebo e dez entrevistas analisadas tematicamente; dados didáticos sintéticos." Resultados — Alder Point +24,4% (6,7% a 44,9%; posto 1 de 16 contra as janelas placebo); Brookfield +5,8% (−6,7% a 19,9%) e Calloway +0,8% (−9,3% a 12,1%), ambos inconclusivos; as entrevistas atribuíram os destinos à geografia viária e descreveram uma notificação tardia e informal. Conclusões — "Um desvio de ambulâncias de 21 dias foi seguido de um aumento substancial das chegadas ao DE mais próximo; os efeitos nos DEs mais distantes não puderam ser determinados." Principal limitação — "um evento e uma região de comparação; tendências sazonais paralelas presumidas." A exposição é nomeada como o desvio, e não como o ransomware.

EX042 — Mapeamento da lista de verificação de relato. Mapeamento de exemplo (o RECORD estende o STROBE para dados coletados rotineiramente): desenho e cenário do estudo (STROBE 4–5) → Capítulo 3, §3.1 e o plano de pré-análise; participantes/unidades e fontes de dados (STROBE 6, 8; RECORD 6.1) → os três DEs vizinhos e os extratos dos custodiantes (Capítulo 6, §6.1); variáveis e suas definições (STROBE 7; RECORD 7.1, códigos e algoritmos) → o livro de códigos; acesso e limpeza dos dados (RECORD 12.1–12.2) → auditoria e correções do piloto (Capítulo 5); vinculação (RECORD 12.3) → não se aplica, declarado como tal; viés (STROBE 9) → tabela de rivais e controles negativos (Capítulo 4); métodos estatísticos (STROBE 12) → §6.2–6.4; limitações (STROBE 19) → §7.6; acessibilidade do protocolo e dos dados (RECORD 22.1) → declaração de disponibilidade. Lacuna genuína: como foram validadas as definições de "chegada de ambulância" dos custodiantes (por exemplo, se as transferências entre instituições contam e se a definição mudou durante o período do estudo). Texto redigido: "Cada custodiante forneceu a sua definição de chegada de ambulância; confirmamos que as três excluem as transferências entre instituições e que nenhuma definição mudou entre os dias −180 e 89, e comparamos os totais mensais do extrato com os relatórios anuais publicados pelos custodiantes."

EX043 — Declaração de disponibilidade. Liberável: código de análise e dados sintéticos que reproduzem a estrutura da análise (público); livro de códigos e plano de pré-análise com o registro de desvios (público); tabelas de resultados agregados no nível regional (público). Retido: contagens diárias dos custodiantes (restritas pelos acordos de dados); transcrições (confidenciais, nos termos do consentimento); capturas de Wexmoor, se os termos do painel proibirem a redistribuição (o método é compartilhado em seu lugar); limiares de ajuda mútua da coalizão (sensíveis). Declaração: "O código de análise, um conjunto de dados sintético com a mesma estrutura, o livro de códigos, o plano de pré-análise e o registro de desvios estão disponíveis em [repositório e DOI]. As contagens diárias foram fornecidas sob acordos com os custodiantes dos dados e podem ser solicitadas a eles nas mesmas condições; as transcrições das entrevistas não podem ser compartilhadas porque os participantes consentiram apenas no uso de citações desidentificadas." Resposta ao editor: "Liberamos tudo o que os nossos acordos e o consentimento dos participantes permitem, incluindo um código que reproduz todos os resultados a partir de um conjunto de dados sintético. Os dados diários pertencem aos custodiantes, que concordaram em considerar pedidos de pesquisadores qualificados nos mesmos termos, e as transcrições não podem ser liberadas sem quebrar o consentimento dos participantes."

EX044 — Figura acessível. Tipo de figura: um gráfico de pontos e intervalos, com a distância no eixo horizontal (6, 14, 38 km) e a variação percentual no eixo vertical, uma linha de referência no zero, cada local rotulado diretamente e nenhuma codificação por cor. Legenda: "As chegadas de ambulâncias subiram substancialmente no DE vizinho mais próximo durante o desvio de 21 dias; as variações nos dois DEs mais distantes não puderam ser distinguidas de zero. Pontos: variação percentual estimada em relação a uma tendência ajustada pela comparação; barras: intervalos de 95%. Dados didáticos sintéticos." Alternativa textual: "Alder Point, 6 km: +24,4% (6,7% a 44,9%). Brookfield, 14 km: +5,8% (−6,7% a 19,9%). Calloway, 38 km: +0,8% (−9,3% a 12,1%)." Resumo em linguagem simples: "Quando o hospital deixou de receber ambulâncias, o hospital vizinho mais próximo recebeu cerca de um quarto a mais de ambulâncias do que o esperado; não conseguimos dizer se os hospitais mais distantes foram afetados."

Capítulo 8: EX045–EX050

EX045 — Curvas de especificação para dois locais. (1) Alder Point, como em §8.3.2: 54 especificações; mediana +0,245, faixa de +0,199 a +0,332; todos os 54 intervalos excluem o zero. (2) Brookfield:

specifications: 54
median effect +0.025; range -0.015 to +0.069
intervals excluding zero: 0 of 54
pre_len: 120=+0.005, 180=+0.034, 90=+0.022
control: W1=+0.007, W2=+0.041, pooled=+0.022
event_len: 14=+0.022, 21=+0.043, 28=+0.014
drop_holidays: False=+0.025, True=+0.025
lowest three: [(-0.015, 120, 'W1', 28, False), (-0.013, 120, 'W1', 28, True), (-0.008, 120, 'W1', 14, False)]

(3) A conclusão de Alder Point é robusta a todas as escolhas razoáveis; Brookfield é robustamente inconclusivo — nenhuma especificação exclui o zero e nenhuma chega ao efeito verdadeiro do gerador. (4) O efeito verdadeiro de 10% de Brookfield fica acima de todas as estimativas pontuais (o máximo é +6,9%) porque as 54 especificações analisam os mesmos dados realizados, com o mesmo ruído: nesta realização, as chegadas a Brookfield calharam de ficar abaixo do esperado, e nenhuma escolha de linha de base, comparação ou janela pode remover um ruído que está nos próprios dados. Uma curva de especificação mostra a sensibilidade às escolhas analíticas, e não a acurácia; robustez não é verdade. Descrever Brookfield como "nenhum efeito" seria errado — os intervalos incluem efeitos em torno de 20%.

EX046 — Banco de perguntas. Avaliado pela rubrica. As três perguntas mais difíceis para a dissertação do Spillover costumam ser: "Por que deveríamos acreditar que a estação de Wexmoor coincidiu com a de Tamsin Valley?" (resposta: razão pré-evento plana, cada DE de Wexmoor separadamente na curva de especificação, mas as tendências paralelas não podem ser provadas — uma lacuna do trabalho se não houver uma terceira comparação); "As suas entrevistas dizem que Brookfield ficou pesado; os seus números dizem inconclusivo. Qual está certo?" (resposta: nenhum se sobrepõe ao outro; baixo poder, pessoal e picos noturnos são explicações, com as evidências que escolheriam entre elas — uma lacuna do documento se a discordância não foi discutida); "Isto se transferiria para uma cidade com dez hospitais?" (resposta: o mecanismo, a geografia viária, sugere que a carga se espalha de forma mais rala; a estimativa não se transfere — uma lacuna de apresentação se o candidato exagerar).

EX047 — Tabela de correções.

EX048 — Defesa simulada e classificação das lacunas. Avaliado pela rubrica. A nota máxima exige pelo menos uma lacuna do trabalho honesta (por exemplo: "Não consigo mostrar tendências paralelas além da razão do período prévio"), correções do documento de fato feitas (por exemplo, o parágrafo da discordância acrescentado) e um texto de limitação que declare a direção ("se a estação de Wexmoor foi mais branda, as nossas estimativas estão superestimadas").

EX049 — Briefing para a coalizão. Avaliado pela rubrica. Um briefing modelo declara o resultado principal com o seu intervalo; recomendações com níveis de confiança — por exemplo, "Notificar formalmente os DEs vizinhos até uma hora após a decisão de desvio (sustentado pelas entrevistas, T2; confiança alta de que a notificação foi tardia; o efeito de uma notificação mais precoce não foi testado)", "Considerar uma orientação de destino para o EMS que espalhe a carga além da saída mais próxima (sustentado por T1 e pela estimativa de Alder Point; intervenção não testada)"; um parágrafo "o que este estudo não mostra" (desfechos de pacientes, outras regiões, efeitos do ransomware enquanto tal); e nenhum número de capacidade por instalação, que vai em privado a cada parceiro, junto com qualquer fraqueza específica levantada nas entrevistas.

EX050 — O próximo estudo. Limitação mais consequente: um evento e uma região. Pergunta: em muitos episódios de desvio de ambulâncias após incidentes cibernéticos, quanto variam as chegadas ao DE vizinho mais próximo, e como isso depende da densidade hospitalar regional? Estimando: a variação percentual média das chegadas aos vizinhos mais próximos durante o desvio, em relação às tendências ajustadas pela comparação, por faixa de densidade. Desenho: um estudo de evento agregado entre incidentes com momentos escalonados, usando estimadores robustos a efeitos heterogêneos (Roth et al., 2023; Goodman-Bacon, 2021), com dados obtidos dos custodiantes de várias regiões ou de uma base nacional de DEs, e eventos identificados a partir de fontes públicas de incidentes codificadas com proveniência e status (Capítulo 2). Resultado relevante para decisões: se os efeitos se concentram no DE mais próximo em regiões de baixa densidade, os planejadores deveriam priorizar ali a orientação de destino e o reforço de pessoal para picos. Escala: doutorado (vários acordos de dados, um catálogo de eventos, métodos novos), ou um projeto de profissionais dentro de uma agência nacional com acesso a dados já existente — não um projeto de mestrado.

Glossário

• Trilha de auditoria (audit trail) — O livro de códigos, os memorandos e as versões de uma análise qualitativa que permitem a outra pessoa acompanhar como os códigos se tornaram temas.
• Autocorrelação — Correlação entre os valores de uma série (ou os resíduos de um modelo) em dias próximos; ela deixa as estimativas de mínimos quadrados sem viés, mas torna errados seus erros-padrão usuais.
• Kappa de Cohen (κ) — Concordância entre dois avaliadores além da que suas frequências marginais produziriam ao acaso: (observada − acaso) / (1 − acaso).
• Matriz de conceitos — Uma tabela que organiza os estudos pelos conceitos de que trata uma revisão (unidades, exposição, comparação, desfechos, desenho, rivais), para que a síntese avance por conceito, e não autor por autor.
• Série temporal interrompida controlada (CITS) — Uma série temporal interrompida analisada em relação a uma série de comparação que não foi exposta, para que os choques compartilhados, como a estação do ano, sejam removidos.
• Caminho crítico — A cadeia de tarefas cujo atraso atrasa o projeto inteiro; numa dissertação de mestrado, geralmente as aprovações e os acordos de dados.
• Cascata de dependências — A propagação de uma perturbação de um fornecedor que falhou para os serviços que dependem dele.
• Análise do desenho — Simular um estudo planejado sobre dados gerados com efeitos conhecidos para conhecer seu viés, sua precisão e sua probabilidade de detectar efeitos de tamanho plausível antes de coletar os dados reais.
• Registro de desvios — Um registro datado de cada mudança num plano registrado, sua razão e se os dados de desfecho já tinham sido vistos quando ela foi feita.
• Grafo acíclico dirigido (DAG) — Um diagrama das relações causais presumidas, usado para identificar fatores de confusão, mediadores e colisores.
• Limitação direcional — Uma limitação declarada com a direção provável e o tamanho aproximado de seu viés, o que foi feito a respeito e o que a resolveria.
• Discordância — Em métodos mistos, um resultado numa vertente que conflita com a outra; relatado e explicado, em vez de resolvido deixando uma vertente vencer.
• Desvio (desvio de ambulâncias) — O pedido de um hospital para que as ambulâncias levem os pacientes a outros hospitais; neste livro, a exposição do Spillover Study.
• Estimando — A quantidade precisa que um estudo pretende estimar: unidade, desfecho, contraste de exposição, janela de tempo e medida-resumo.
• FINER — Viável (feasible), interessante, nova (novel), ética e relevante: critérios para uma pergunta de pesquisa.
• Literatura cinzenta — Relatórios e documentos produzidos fora da publicação acadêmica comercial (auditorias, relatórios de agências, revisões pós-ação).
• Poder de informação (information power) — A ideia de que, quanto mais informação relevante cada participante tiver para um objetivo estreito, menos entrevistas são necessárias.
• Exibição conjunta (joint display) — Uma tabela que emparelha os resultados quantitativos com as constatações qualitativas e declara uma metainferência para cada linha.
• Conjunto de itens conhecidos — Estudos que já se sabe serem relevantes, usados para verificar se uma estratégia de busca os recupera.
• Transbordamento por transferência de carga — A propagação de uma perturbação por substituição: a demanda que o prestador perturbado não consegue atender passa para outros.
• Metainferência — A conclusão tirada da integração de duas vertentes: confirmação, expansão ou discordância.
• Múltiplas hipóteses de trabalho — Manter várias explicações ao mesmo tempo e desenhar evidências que discriminem entre elas.
• Controle negativo — Um desfecho ou uma população que a exposição não deveria afetar, mas que compartilha os fatores de confusão do estudo, usado para detectar viés.
• Erros-padrão de Newey–West (HAC) — Erros-padrão robustos à heterocedasticidade e à autocorrelação até uma defasagem escolhida, usando pesos de Bartlett decrescentes.
• Tendências paralelas — O pressuposto de que, sem a exposição, as séries tratada e de comparação teriam se movido juntas.
• PICOT (forma para infraestrutura) — População ou unidades, exposição, comparação, desfecho e tempo, usados para tornar uma pergunta respondível.
• Estudo piloto (de viabilidade) — Um estudo pequeno que testa se o estudo principal pode ser feito como planejado — dados, instrumentos e procedimentos —, e não se a hipótese é verdadeira.
• Teste placebo no tempo — Ajustar o modelo principal a janelas anteriores ao evento real, onde nenhum efeito deveria existir, e classificar a estimativa real entre as estimativas placebo.
• Plano de pré-análise — Uma especificação registrada e datada dos estimandos, dos desfechos, dos modelos e das verificações de robustez, escrita antes que os dados de desfecho sejam vistos.
• Critérios de progressão — Limiares definidos antes de um piloto que decidem se o estudo principal prossegue, prossegue após emenda ou para.
• Procedência (de um número) — O caminho rastreável de um número no texto de volta ao código e à saída que o produziram.
• Regressão à média — A tendência de medições incomumente extremas serem seguidas por outras menos extremas, o que pode imitar um efeito quando as unidades são selecionadas por valores extremos.
• Viés de relato (viés de catálogo) — Distorção nos catálogos de incidentes porque quais incidentes são divulgados depende de sua gravidade, das obrigações e da atenção.
• Registro de resultados e alegações — Uma tabela que liga cada alegação da dissertação a seu resultado, à força das evidências e ao verbo que as evidências permitem.
• Revisão de escopo — Uma revisão que mapeia a extensão e os tipos de evidências sobre uma pergunta ampla, em vez de agregar efeitos.
• Regressão segmentada — Regressão com termos de nível e de inclinação que mudam numa interrupção; o modelo usual para séries temporais interrompidas.
• Curva de especificação — O conjunto de estimativas de todas as escolhas analíticas razoáveis, exibidas juntas para que nenhuma escolha isolada carregue a conclusão.
• Controle sintético — Uma combinação ponderada de unidades não expostas, escolhida para reproduzir a trajetória pré-evento da unidade exposta, usada como seu contrafactual.
• Análise temática — Um método para identificar, analisar e relatar padrões de significado em dados qualitativos, em seis fases.