◇ OpenCyber Academy
Mestrado · Capítulo 1 · Português

Capítulo 1 — Pergunta de pesquisa e método de revisão da literatura

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 1 — Pergunta de pesquisa e método de revisão da literatura

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Do tema ao problema e à pergunta"]
  N1["1.2 O estimando: diga exatamente que número você vai"]
  N2["1.3 Para que serve uma revisão da literatura"]
  N3["1.4 Buscando entre disciplinas"]
  N4["1.5 Dos registros aos estudos incluídos"]
  N5["1.6 Síntese por conceito, e não por autor"]
  N6["1.7 Ler um estudo pelo desenho, e não só pelas const"]
  N7["1.9 Atividade prática: deduplicar, triar e medir a c"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Do tema ao problema e à pergunta"]
  N1["1.2 O estimando: diga exatamente que número você vai"]
  N2["1.3 Para que serve uma revisão da literatura"]
  N3["1.4 Buscando entre disciplinas"]
  N4["1.5 Dos registros aos estudos incluídos"]
  N5["1.6 Síntese por conceito, e não por autor"]
  N6["1.7 Ler um estudo pelo desenho, e não só pelas const"]
  N7["1.9 Atividade prática: deduplicar, triar e medir a c"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX001"]
[1.1 Do tema ao problema e à pergunta]
    |
    v
[1.2 O estimando: diga exatamente que número você vai]
    |
    v
[1.3 Para que serve uma revisão da literatura]
    |
    v
[1.4 Buscando entre disciplinas]
    |
    v
[1.5 Dos registros aos estudos incluídos]
    |
    v
[1.6 Síntese por conceito, e não por autor]
    |
    v
[1.7 Ler um estudo pelo desenho, e não só pelas const]
    |
    v
[1.9 Atividade prática: deduplicar, triar e medir a c]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

  1. Passar de um tema ("ransomware em hospitais"), por um problema, a uma única pergunta de pesquisa respondível, e testá-la segundo os critérios FINER e uma versão do PICOT para infraestrutura.
  2. Classificar uma pergunta como descritiva, associativa, causal, explicativa ou avaliativa, e declarar o tipo de desenho e de alegação que cada uma permite.
  3. Definir a quantidade que o estudo vai estimar — seu estimando — em palavras precisas o bastante para que dois analistas calculem a mesma coisa.
  4. Escolher um tipo de revisão (narrativa, de escopo, sistemática) adequado a uma dissertação de mestrado e justificá-lo.
  5. Construir, executar e documentar uma busca interdisciplinar que inclua a literatura cinzenta, testá-la contra itens conhecidos e encerrá-la por uma regra declarada com antecedência.
  6. Deduplicar registros, triá-los com dois revisores, medir a concordância com o kappa de Cohen, reparar os critérios de elegibilidade onde a discordância se concentra e relatar um diagrama de fluxo.
  7. Organizar o que foi encontrado numa matriz de conceitos, em vez de um resumo autor por autor.

O capítulo fixa a pergunta e o mapa de evidências que todos os capítulos seguintes usam. O Capítulo 2 amplia o mapa para os outros setores; o Capítulo 3 escolhe um desenho para a pergunta fixada aqui; o Capítulo 4 lista as explicações rivais que a literatura já levantou; o Capítulo 7 escreve o capítulo de revisão da literatura a partir da matriz de conceitos construída aqui.

1.1 Do tema ao problema e à pergunta

1.1.1 Três coisas diferentes

A maioria das dissertações começa com um tema, que é uma área de interesse: "ataques cibernéticos a hospitais". Um tema não pode ser respondido. Um problema é uma lacuna entre o que se sabe e o que alguém precisa saber para agir: "os planejadores regionais de emergência não sabem quanto um desvio induzido por ataque cibernético num hospital sobrecarrega seus vizinhos, então os acordos de ajuda mútua são escritos sem números." Uma pergunta de pesquisa é a pergunta específica cuja resposta reduziria essa lacuna: "Durante um desvio de ambulâncias induzido por ransomware, quanto mudam as chegadas diárias de ambulâncias nos hospitais num raio de 40 km, em relação ao que seria esperado sem o desvio?"

O movimento do tema à pergunta é um estreitamento, e todo estreitamento é uma decisão que você precisa ser capaz de defender. Estreitar para as chegadas de ambulâncias em vez de "danos aos pacientes" troca importância por mensurabilidade. Estreitar para uma região troca generalidade por profundidade e acesso aos dados. Estreitar para o desvio induzido por ransomware em vez de "incidentes cibernéticos" torna a exposição observável: um desvio tem um início e um fim que um serviço de atendimento médico de emergência (EMS) registra, enquanto "um incidente cibernético" pode permanecer desconhecido até para o próprio hospital por semanas.

1.1.2 FINER e um PICOT para infraestrutura

Os pesquisadores clínicos testam as perguntas segundo os critérios FINER — viável (feasible), interessante, nova (novel), ética e relevante — e as estruturam com o PICOT: população, intervenção, comparação, desfecho (outcome) e tempo (Farrugia et al., 2010, resumindo o Designing Clinical Research de Hulley e colaboradores). Ambos se transferem para a pesquisa sobre infraestrutura com uma mudança: a maioria dos estudos de infraestrutura observa uma exposição que o pesquisador não atribuiu, então o "I" se torna "E".

Elemento Significado na pesquisa sobre infraestrutura Spillover Study (primeira versão)
População / unidades As unidades prestadoras de serviço estudadas: hospitais, departamentos de emergência, alimentadores, sistemas de água, processadores de pagamento. Declare a unidade de análise e a unidade de observação (elas podem diferir: a unidade pode ser um hospital-dia). Departamentos de emergência (DEs) de Tamsin Valley, exceto os do Kestrel; unidade de observação: o DE-dia.
Exposição O evento ou a condição cuja consequência é estudada, definido de modo que seu início e seu fim sejam observáveis. Desvio de ambulâncias no Kestrel causado por um ataque de ransomware (dias 0–20).
Comparação Com o que a experiência dos expostos é comparada: as mesmas unidades antes, unidades não expostas ao mesmo tempo, ou ambos. Os mesmos DEs nos 180 dias anteriores; os DEs de Wexmoor nos mesmos dias.
Desfecho (Outcome) Uma consequência medida em unidades de serviço. Nomeie o desfecho primário e no máximo alguns secundários. Primário: chegadas diárias de ambulâncias. Secundário: mediana dos minutos entre a chegada e o primeiro atendimento clínico.
Tempo Janela, seguimento e resolução (por hora, por dia, por mês). Diária, do dia −180 ao dia +89.

O FINER é uma triagem, não uma pontuação. Viável significa que os dados existem, que você pode obtê-los licitamente dentro do tempo do curso e que a análise está ao alcance da sua competência. Interessante significa que alguém que precisa tomar uma decisão se importa com a resposta. Nova, no nível do mestrado, inclui "medido pela primeira vez neste contexto" e "replicado com um desenho mais forte". Ética significa que um comitê de ética poderia aprová-la (Capítulo 3). Relevante significa que a resposta mudaria um plano, uma política ou um estudo posterior.

1.1.3 Tipos de pergunta e as alegações que permitem

Tipo Forma Exemplo O que o desenho precisa fornecer Alegação mais forte
Descritiva Quanto, com que frequência, o quê? Quantas horas de desvio de ambulâncias os DEs de Tamsin Valley registraram no ano passado, por causa? Uma população definida e registros completos. Uma quantidade medida nessa população.
Associativa X está associado a Y? As horas de desvio são maiores nos DEs mais próximos de um hospital em desvio? Variação em X e Y; ajuste para os fatores de confusão óbvios. Uma associação, com seu tamanho e sua incerteza.
Causal Quanto X mudou Y? Quanto o desvio do Kestrel aumentou as chegadas em Alder Point? Um contrafactual crível: o que teria acontecido sem X (Capítulos 3–4). Uma estimativa de efeito sob pressupostos declarados.
Explicativa Por que ou como X mudou Y? Por meio de quais decisões os despachantes redistribuíram os pacientes? Evidências de processo: entrevistas, documentos, registros. Um mecanismo apoiado por relatos convergentes.
Avaliativa Uma medida funcionou? O protocolo de desvio da coalizão encurtou os tempos de espera? Um desenho causal mais uma definição operacional de "funcionar". Um efeito da medida, sob pressupostos.

A pergunta primária do Spillover Study é causal; a secundária, explicativa. Essa combinação — uma estimativa quantitativa mais uma explicação do mecanismo — é típica de uma dissertação de mestrado forte e é a razão pela qual este livro ensina as duas vertentes.

1.2 O estimando: diga exatamente que número você vai produzir

Uma pergunta em palavras ainda deixa espaço para muitos números diferentes. "Quanto as chegadas aumentam?" poderia significar o aumento no primeiro dia, o aumento médio durante o desvio, o aumento em relação ao ano anterior, o aumento em relação a uma região de comparação ou o total de pacientes adicionais. Um estimando é a quantidade precisa que um estudo pretende estimar, definida antes que os dados sejam vistos. Um modelo útil tem cinco partes:

  1. Unidades: quais unidades e quais dias (DE de Alder Point, dias 0–20).
  2. Desfecho: o que é contado e como (chegadas de ambulâncias por dia corrido, conforme registradas no livro de chegadas do DE).
  3. Contraste: em comparação com o quê (as chegadas que teriam ocorrido na ausência do desvio).
  4. Resumo: a escala (razão entre a média observada e a contrafactual, relatada como variação percentual).
  5. População de inferência: sobre quem é a resposta (este DE durante este evento — não "os hospitais em geral").

O estimando primário do Spillover Study é, portanto: para cada DE vizinho, a variação percentual da média diária de chegadas de ambulâncias durante os dias 0–20, em relação às chegadas esperadas a partir da tendência pré-evento desse DE e da variação simultânea nos DEs não afetados de Wexmoor. O contrafactual "teria ocorrido" nunca é observado; os Capítulos 3 e 4 decidem como aproximá-lo. Escrever o estimando primeiro evita uma falha comum: escolher a comparação depois de ver qual delas dá o número mais impressionante.

1.2.1 Escopo da alegação

O livro de doutorado desta área descreve uma escada de cinco degraus, da observação à alegação de pesquisa. No nível do mestrado, a disciplina essencial é mais simples: escreva a alegação que você espera fazer e o escopo que ela terá antes de começar, e depois verifique, no fim, se as evidências chegaram lá. O Spillover Study espera alegar: "Num evento regional sintético, as chegadas de ambulâncias no DE vizinho mais próximo aumentaram durante o desvio num montante que estimamos com incerteza declarada, e o aumento foi menor nos DEs mais distantes." Ele não espera alegar que o ransomware prejudica os pacientes, que todas as regiões se comportam assim nem que as políticas de desvio devam mudar — embora a discussão possa sugerir quais estudos poderiam sustentar essas alegações maiores.

1.3 Para que serve uma revisão da literatura

No nível do mestrado, a revisão tem quatro tarefas: mostrar que a pergunta está em aberto ou vale a pena ser feita de novo; encontrar os métodos e as medidas que outros usaram, para que você não os reinvente; encontrar as explicações rivais já levantadas (Capítulo 4); e situar o resultado final no contexto. Ela não é uma bibliografia anotada nem uma demonstração de quanto você leu.

Tipo de revisão Propósito Requisitos do método Adequada a um projeto de mestrado quando
Narrativa (tradicional) Síntese e argumentação especializadas Poucas regras formais; risco de citação seletiva A revisão apoia um estudo empírico primário e a área é pequena
De escopo Mapear a extensão, a variedade e a natureza das evidências; esclarecer conceitos Arcabouço de Arksey and O'Malley (2005); relato segundo o PRISMA-ScR (Tricco et al., 2018) A literatura está espalhada entre disciplinas e a pergunta ainda está sendo moldada
Sistemática Responder a uma pergunta focada com busca exaustiva e avaliação crítica Protocolo, triagem dupla, risco de viés, relato segundo o PRISMA 2020 A revisão é a dissertação, e há literatura suficiente para sintetizar
Integrativa / semissistemática Combinar tipos diversos de estudo numa síntese conceitual Busca documentada com síntese flexível (Snyder, 2019) A área mistura trabalhos empíricos, técnicos e de políticas

Para o Spillover Study, a revisão é uma revisão de escopo estruturada que apoia um estudo empírico: busca documentada, elegibilidade explícita, dois revisores numa amostra, um diagrama de fluxo e uma matriz de conceitos — mas sem pontuação formal do risco de viés nem metanálise, porque o punhado de estudos relevantes usa desenhos incomparáveis. Declare essa escolha e sua razão no capítulo de métodos; um leitor nunca deveria ter de adivinhar se uma revisão pretendia ser exaustiva.

1.4 Buscando entre disciplinas

1.4.1 Por que a literatura sobre infraestrutura é dispersa

As evidências sobre a pergunta do Spillover estão espalhadas entre medicina de emergência, pesquisa em serviços de saúde, economia da saúde, medicina de desastres, segurança da informação, administração pública e auditoria governamental. A mesma ideia tem nomes diferentes: "ambulance diversion", "ED crowding", "regional surge", "patient redistribution", "blast radius". As bases de segurança raramente indexam as operações hospitalares; as bases médicas raramente indexam os artigos de conferências de segurança; e algumas das evidências mais informativas — relatórios de auditoria, declarações de reguladores, relatórios pós-ação, relatórios de exercícios das coalizões de saúde — são literatura cinzenta que nenhuma base bibliográfica indexa.

1.4.2 Blocos de conceitos

Construa a busca a partir de blocos de conceitos combinados com AND; dentro de cada bloco, sinônimos combinados com OR:

Incluir "downtime" e "IT outage" no Bloco A é uma escolha deliberada: as interrupções não maliciosas produzem efeitos operacionais semelhantes e podem fornecer métodos e rivais (Capítulo 4). Registre a escolha; ela amplia o trabalho de triagem e precisa ser tratada pelos critérios de elegibilidade.

1.4.3 Fontes e o teste dos itens conhecidos

Busque em pelo menos um índice biomédico, um índice acadêmico geral e um índice de computação, mais um plano para a literatura cinzenta: tribunais de contas e órgãos de auditoria governamentais, ministérios e agências de saúde, órgãos de coordenação setorial, associações de hospitais e relatórios das coalizões. Antes de executar a busca completa, monte um conjunto de itens conhecidos — estudos que você já sabe serem relevantes — e verifique se a sua busca os encontra. Para a pergunta do Spillover, um conjunto razoável de itens conhecidos é Dameff et al. (2023), Ghafur et al. (2019) sobre o WannaCry no NHS inglês e Neprash et al. (2022) sobre as tendências do ransomware nas organizações prestadoras de cuidados de saúde dos EUA. Uma busca que deixa escapar um item conhecido é estreita demais; revise-a e registre a revisão.

1.4.4 Encadeamento de citações e encerramento

As buscas em bases deixam escapar artigos que usam vocabulário inesperado. O encadeamento para trás lê as listas de referências dos estudos incluídos; o encadeamento para a frente encontra artigos posteriores que os citam. Wohlin (2014) dá diretrizes para essa "bola de neve" (snowballing) e mostra que ela pode complementar ou substituir a busca em bases em algumas áreas. Decida com antecedência quando parar: por exemplo, após duas rodadas consecutivas de encadeamento que não acrescentem nenhum estudo incluído. Registre cada busca num registro de buscas: data, fonte, expressão exata, filtros, número de resultados e quem a executou.

1.5 Dos registros aos estudos incluídos

1.5.1 Deduplicação

O mesmo artigo aparece em várias bases, com maiúsculas, pontuação e hifenização diferentes e às vezes sem DOI. Deduplique antes da triagem, para que dois revisores não triem o mesmo estudo duas vezes e o diagrama de fluxo seja honesto. Um procedimento sólido em duas passadas é: (1) casar os DOIs exatos após converter para minúsculas; (2) entre os restantes, casar os títulos normalizados mais o ano — minúsculas, sem pontuação, espaços colapsados e variantes conhecidas normalizadas (por exemplo, "turn-around" e "turnaround"). Inspecione a olho cada correspondência automática num projeto pequeno; as regras automáticas podem fundir artigos diferentes com títulos genéricos ("Editorial", "Correction").

1.5.2 Triagem em duas etapas e concordância

Trie os títulos e os resumos segundo os critérios de elegibilidade e depois leia os textos completos de tudo o que passar. No nível do mestrado, muitas vezes dois revisores não conseguem triar tudo; um meio-termo defensável é que um segundo revisor (um colega ou o orientador) trie de forma independente uma amostra, a concordância seja medida, os critérios sejam reparados onde a discordância se concentra e o primeiro revisor então trie o restante com os critérios reparados.

A concordância é medida com o kappa de Cohen (Cohen, 1960), que corrige a concordância observada pₒ pela concordância pₑ esperada ao acaso a partir da taxa de inclusão de cada revisor: κ = (pₒ − pₑ) / (1 − pₑ). Dois revisores que incluem, cada um, metade dos registros concordariam metade das vezes só por acaso, então 80% de concordância bruta pode não impressionar. As faixas de interpretação variam, e McHugh (2012) argumenta que as faixas mais citadas são lenientes demais para a pesquisa em saúde, em que baixa concordância significa dados não confiáveis. Trate o kappa como um diagnóstico: onde os revisores discordam diz qual critério está pouco claro.

1.5.3 O diagrama de fluxo

Relate os registros identificados por fonte, as duplicatas removidas, os registros triados, os registros excluídos, os textos completos avaliados, os textos completos excluídos com as razões e os estudos incluídos. O PRISMA 2020 fornece um diagrama de fluxo padrão (Page et al., 2021). Mesmo uma revisão não sistemática se beneficia dele, porque ele permite que um examinador veja o denominador por trás de "a literatura mostra".

1.6 Síntese por conceito, e não por autor

Webster and Watson (2002) recomendaram que as revisões sejam centradas em conceitos, e não em autores: em vez de um parágrafo por artigo ("Smith constatou…; Jones constatou…"), organize a revisão em torno dos conceitos de que a pergunta precisa e mostre quais estudos informam cada um. Uma matriz de conceitos tem os estudos como linhas e os conceitos como colunas. Para o Spillover Study, as colunas são: unidade de análise; definição da exposição; comparação; desfecho; desenho; o que o estudo pode sustentar; rivais que levanta.

Estudo Unidade Exposição Comparação Desfechos relevantes para o transbordamento Desenho (como publicado) O que pode sustentar
Dameff et al., 2023 Dois DEs adjacentes a uma organização atacada Ataque de ransomware de um mês a quatro hospitais adjacentes (maio de 2021) Os mesmos DEs nas quatro semanas anteriores e posteriores Censo, chegadas de ambulâncias, tempos de espera, saídas sem atendimento, tempo de permanência, desvio do EMS do condado, métricas de AVC Coorte antes e depois Uma associação entre o período do ataque e a sobrecarga nos DEs vizinhos numa região
Ghafur et al., 2019 Trusts do NHS inglês WannaCry (maio de 2017) Semanas de linha de base; trusts infectados versus não infectados Internações, atendimentos de A&E, cancelamentos de ambulatório, óbitos em A&E Análise retrospectiva das Hospital Episode Statistics Reduções de atividade nos trusts infectados; nenhuma variação detectável nos óbitos em A&E (uma medida grosseira de dano, como os autores observam)
Neprash et al., 2022 Organizações prestadoras de cuidados de saúde dos EUA Ataques de ransomware numa base construída a partir de relatos públicos, 2016–2021 Tendências temporais Frequência, exposição de PHI, interrupção operacional, incluindo desvio de ambulâncias Coorte de ataques relatados Tendências e características dos ataques relatados

A matriz torna a lacuna visível: um estudo antes e depois de DEs vizinhos, nenhum estudo com uma região de comparação não afetada e nenhum estudo sobre se a sobrecarga diminui com a distância. Essa é a justificativa do Spillover Study.

1.7 Ler um estudo pelo desenho, e não só pelas constatações

Ao extrair um estudo, registre não apenas o que ele constatou, mas o que ele poderia ter constatado. Pergunte: Qual é a unidade? A exposição é definida por seu início e seu fim? Qual é a comparação, e o que mais mudou entre os períodos comparados? O desfecho é uma consequência (pacientes atrasados) ou uma atividade (atendimentos contados)? Para que população o resultado poderia ser generalizado? Uma comparação antes e depois dentro das mesmas unidades, por exemplo, não consegue separar a exposição de tudo o mais que mudou ao mesmo tempo — estação do ano, política, quadro de pessoal, uma epidemia simultânea. Dizer isso não é uma crítica aos autores; é a evidência que o seu próprio desenho precisa superar.

1.8 Exemplo resolvido: do tema à pergunta do Spillover (sintético)

O primeiro parágrafo da proposta do candidato dizia: "Esta dissertação investigará o impacto dos ataques cibernéticos sobre os hospitais e mostrará que eles põem em perigo os pacientes em toda a região." A revisão do orientador:

Problema Por que falha Revisão
"Investigar o impacto dos ataques cibernéticos sobre os hospitais" Um tema, não uma pergunta; "impacto" não está definido. Nomear o desfecho: chegadas diárias de ambulâncias e tempo de espera nos DEs vizinhos.
"Mostrar que eles põem em perigo os pacientes" Pressupõe a resposta; um desenho para "mostrar" não pode falhar. Perguntar "quanto" e permitir zero como resposta.
"Em toda a região" Nenhuma unidade nem fronteira. DEs num raio de 40 km do sistema atacado; a distância como moderador.
"Ataques cibernéticos" Exposição não observável nem datada. Desvio de ambulâncias causado por um ataque de ransomware, com início e fim registrados pelo EMS.
Nenhuma comparação Um antes e depois sozinho não consegue separar o ataque da estação do ano. Acrescentar uma região de comparação não afetada.
Nenhum mecanismo Mesmo um número crível não diria aos planejadores o que mudar. Pergunta explicativa secundária com entrevistas com as equipes do DE, do EMS e da coalizão.
"Os pacientes são postos em perigo" Os desfechos dos pacientes exigem dados clínicos e aprovações além do cronograma de um mestrado. Manter os desfechos dos pacientes fora do escopo; nomeá-los como trabalho futuro.

Perguntas finais:

1.9 Atividade prática: deduplicar, triar e medir a concordância

O laboratório abaixo contém uma exportação sintética de 20 registros de três bases e de uma busca na literatura cinzenta. Ele os deduplica em duas passadas, toma as decisões de dois revisores sobre títulos e resumos dos registros restantes, calcula o kappa e lista as discordâncias. Execute-o com o Python 3; nenhum pacote é necessário.

# Lab 1 - deduplicate a synthetic search export, measure screening agreement, count the flow (offline)
# Each record: (source, title, year, doi_or_empty). Decisions: reviewer A and B, I = include, X = exclude.
import re

RECORDS = [
    ("medline", "Ransomware and emergency department crowding at neighbouring hospitals", 2023, "10.9999/syn.001"),
    ("scopus",  "Ransomware and Emergency Department Crowding at Neighbouring Hospitals.", 2023, "10.9999/SYN.001"),
    ("ieee",    "Anomaly detection for water distribution SCADA", 2019, "10.9999/syn.002"),
    ("medline", "Hospital IT downtime and laboratory turnaround times", 2021, ""),
    ("scopus",  "Hospital IT downtime and laboratory turn-around times", 2021, "10.9999/syn.003"),
    ("grey",    "After-action report: regional EMS diversion during a hospital network outage", 2022, ""),
    ("scopus",  "Ambulance diversion policies and patient outcomes: a review", 2018, "10.9999/syn.004"),
    ("medline", "Ambulance diversion policies and patient outcomes - a review", 2018, ""),
    ("ieee",    "Cyber-physical attack graphs for substations", 2020, "10.9999/syn.005"),
    ("grey",    "State health department memo on downtime procedures", 2024, ""),
    ("scopus",  "Interrupted time series of ED arrivals after hospital closure", 2017, "10.9999/syn.006"),
    ("medline", "Mortality after hospital cyberattacks in Medicare beneficiaries", 2024, "10.9999/syn.007"),
    ("scopus",  "Mortality after hospital cyberattacks in Medicare beneficiaries", 2024, "10.9999/syn.007"),
    ("ieee",    "A survey of ransomware families 2015-2022", 2022, "10.9999/syn.008"),
    ("grey",    "Regional healthcare coalition cyber-incident exercise report", 2023, ""),
    ("medline", "Stroke care times during regional diversion", 2020, "10.9999/syn.009"),
    ("scopus",  "Electronic health record downtime: a scoping review", 2022, "10.9999/syn.010"),
    ("medline", "Electronic Health Record Downtime: A Scoping Review", 2022, "10.9999/syn.010"),
    ("ieee",    "Blockchain for hospital supply chains", 2021, "10.9999/syn.011"),
    ("grey",    "Vendor white paper: ransomware readiness in hospitals", 2023, ""),
]

def norm_title(t):
    t = t.lower().replace("turn-around", "turnaround")
    t = re.sub(r"[^a-z0-9 ]+", " ", t)
    return " ".join(t.split())

def key(rec):
    _, title, year, doi = rec
    return ("doi", doi.lower()) if doi else ("ty", norm_title(title), year)

seen, unique, dup = {}, [], 0
for rec in RECORDS:                       # pass 1: DOI or title+year
    k = key(rec)
    if k in seen:
        dup += 1
        continue
    seen[k] = rec
    unique.append(rec)
by_title = {}
final = []
for rec in unique:                        # pass 2: same normalized title+year, one record lacks a DOI
    tk = (norm_title(rec[1]), rec[2])
    if tk in by_title:
        dup += 1
        continue
    by_title[tk] = rec
    final.append(rec)

# Title/abstract screening decisions by two reviewers, in the order of `final`
A = "I X I I I X X I I X I I I X X".split()
B = "I X I I I X I I I X X I I X I".split()

def kappa(a, b):
    n = len(a)
    po = sum(x == y for x, y in zip(a, b)) / n
    cats = set(a) | set(b)
    pe = sum((a.count(c) / n) * (b.count(c) / n) for c in cats)
    return po, pe, (po - pe) / (1 - pe)

po, pe, k = kappa(A, B)
both = sum(x == y == "I" for x, y in zip(A, B))
disagree = [final[i][1] for i in range(len(final)) if A[i] != B[i]]
print(f"records identified: {len(RECORDS)}  duplicates removed: {dup}  screened: {len(final)}")
print(f"agreement po={po:.3f} pe={pe:.3f} kappa={k:.3f}")
print(f"both include: {both}  disagreements: {len(disagree)}")
for t in disagree:
    print("  resolve:", t)

Saída esperada:

records identified: 20  duplicates removed: 5  screened: 15
agreement po=0.800 pe=0.533 kappa=0.571
both include: 8  disagreements: 3
  resolve: State health department memo on downtime procedures
  resolve: Regional healthcare coalition cyber-incident exercise report
  resolve: Vendor white paper: ransomware readiness in hospitals

Cinco duplicatas foram removidas: três pelo DOI (uma com o DOI em maiúsculas diferentes) e duas pelo título normalizado e pelo ano, incluindo um par que diferia apenas por "turn-around" versus "turnaround" e outro que diferia apenas por um travessão versus dois-pontos. A concordância bruta nos 15 registros triados é de 80%, mas a concordância ao acaso é de 53%, então κ = 0,571 — moderada, na melhor das hipóteses. O valor diagnóstico está na lista: as três discordâncias são literatura cinzenta (um memorando de um departamento estadual de saúde, um relatório de exercício de uma coalizão e um white paper de fornecedor). Os critérios nada diziam sobre a literatura cinzenta. Repare-os antes de continuar a triagem: por exemplo, incluir relatórios governamentais, de reguladores, de coalizões e pós-ação que descrevam os efeitos operacionais de um evento específico; excluir material de marketing de fornecedores e documentos que descrevam procedimentos sem relatar efeitos. Depois, trie de novo a amostra e recalcule o kappa.

1.10 Erros comuns e limites

O limite de uma revisão de mestrado é o tempo: ela não será exaustiva e não deve fingir que é. Sua credibilidade vem de uma busca documentada e repetível e de uma declaração honesta do que não foi buscado.

Exercícios — capítulo 1

EX001 — Do tema à pergunta. Objetivo: estreitar um tema até uma pergunta respondível. Insumos: o tema "incidentes cibernéticos em concessionárias de água potável". Restrições: uma pergunta primária; uma exposição observável e datada; um desfecho em unidades de serviço. Passos: (1) declarar um problema que um tomador de decisão enfrenta; (2) escrever uma pergunta na forma PICOT para infraestrutura; (3) testá-la segundo cada critério FINER, numa frase; (4) declarar a alegação que você espera fazer e seu escopo. Evidência esperada: um memorando de meia página. Rubrica: 3 = pergunta respondível com dados plausíveis, exposição e desfecho observáveis, FINER aplicado com honestidade (incluindo o que não é viável), alegação delimitada ao desenho; 2 = um elemento vago; 1 = ainda um tema; 0 = nada.

EX002 — Tipos de pergunta. Objetivo: associar perguntas a desenhos e alegações. Insumos: (a) "Quantas horas de desvio de ambulâncias foram registradas no condado em 2024, por causa?" (b) "Os DEs que adotaram simulados de indisponibilidade têm tempos de espera menores durante as interrupções de TI?" (c) "Quanto o desvio aumentou as chegadas em Alder Point?" (d) "Por que os despachantes levaram pacientes com AVC para além do hospital aberto mais próximo?" (e) "O novo protocolo de desvio da coalizão reduziu o tempo em desvio?" Restrições: usar a tabela de §1.1.3. Passos: classificar cada uma; nomear o desenho mínimo; nomear a alegação mais forte. Evidência esperada: tabela. Rubrica: 3 = todas classificadas corretamente, com desenhos que de fato sustentariam as alegações, e (b) reconhecida como associativa, a menos que a adoção dos simulados possa ser tratada como uma exposição com um contrafactual crível; 2 = um erro; 1 = desenhos genéricos; 0 = nada.

EX003 — Estratégia de busca e teste dos itens conhecidos. Objetivo: construir uma busca documentada e interdisciplinar. Insumos: RQ1–RQ3 de §1.8. Restrições: três blocos de conceitos; pelo menos três fontes bibliográficas de disciplinas diferentes e um plano para a literatura cinzenta com pelo menos quatro tipos de fonte. Passos: (1) escrever os blocos; (2) listar as fontes e justificar cada uma; (3) definir um conjunto de três estudos conhecidos e descrever como você verificaria se cada um é recuperado; (4) definir uma regra de encerramento para o encadeamento de citações; (5) desenhar um modelo de registro de buscas. Evidência esperada: protocolo de uma página e modelo de registro. Rubrica: 3 = os blocos incluem sinônimos de várias disciplinas, a literatura cinzenta é especificada por tipo de fonte, o teste dos itens conhecidos e a regra de encerramento são concretos; 2 = falta um elemento; 1 = busca numa única disciplina; 0 = nada.

EX004 — Deduplicação e concordância. Objetivo: testar se a deduplicação pelo título detecta um registro quase duplicado da literatura cinzenta e ver como uma única discordância entre revisores move o kappa de Cohen. Insumos: código do Laboratório 1. Restrições: off-line. Passos: (1) executar o laboratório e registrar a saída; (2) acrescentar um registro ("grey", "Ransomware & emergency department crowding at neighbouring hospitals", 2023, "") ao fim de RECORDS, acrescentar I às cadeias de decisões dos dois revisores (o registro só chega à triagem se a deduplicação deixá-lo passar), reexecutar e relatar se o procedimento em duas passadas o removeu, e por quê; (3) mudar a decisão do revisor B sobre "Cyber-physical attack graphs for substations" de X para I e relatar o novo kappa; (4) explicar em 100 palavras por que uma discordância a mais muda o kappa mais do que a concordância bruta sugere. Evidência esperada: saídas e explicação. Rubrica: 3 = saídas corretas, a falha do "e comercial" diagnosticada com uma correção proposta, kappa recalculado corretamente, correção pelo acaso explicada; 2 = um erro; 1 = não executado; 0 = nada.

EX005 — Repare os critérios de elegibilidade. Objetivo: transformar a discordância em critérios mais claros. Insumos: as três discordâncias do Laboratório 1. Restrições: os critérios precisam ser decidíveis a partir de um título e de um resumo ou da primeira página de um relatório. Passos: (1) escrever critérios de inclusão e exclusão para a literatura cinzenta; (2) aplicá-los aos três registros; (3) declarar o que você faria com um registro que ainda não consegue decidir. Evidência esperada: critérios e decisões. Rubrica: 3 = critérios decidíveis, decisões consistentes, registros indecidíveis enviados à revisão do texto completo em vez de excluídos; 2 = uma decisão inconsistente; 1 = os critérios repetem o tema; 0 = nada.

EX006 — Matriz de conceitos. Objetivo: sintetizar por conceito. Insumos: os três estudos de §1.6 mais o relatório do NAO sobre o WannaCry e o NHS (outubro de 2017). Restrições: ler você mesmo o resumo do NAO; citar os números com sua fonte. Passos: (1) acrescentar o relatório do NAO como uma linha; (2) acrescentar uma coluna "rivais que o estudo levanta ou deixa em aberto"; (3) escrever um parágrafo de 200 palavras, centrado em conceitos, sobre os "efeitos regionais dos incidentes cibernéticos em hospitais". Evidência esperada: matriz e parágrafo. Rubrica: 3 = linha do NAO acurada (escopo da interrupção e a distinção entre cancelamentos registrados e estimados), rivais específicos, parágrafo organizado por conceito; 2 = parágrafo autor por autor; 1 = números sem fonte; 0 = nada.

EX007 — Memorando do estimando e do escopo. Objetivo: definir exatamente o que será estimado. Insumos: RQ1 e RQ2. Restrições: o modelo de cinco partes de §1.2. Passos: (1) escrever o estimando de RQ1; (2) escrever um para RQ2; (3) listar dois estimandos que um analista descuidado poderia calcular em vez deles e por que diferem; (4) declarar a alegação esperada e as alegações explicitamente fora do escopo. Evidência esperada: uma página. Rubrica: 3 = estimandos inequívocos, com um contraste contrafactual, alternativas genuinamente diferentes (por exemplo, o aumento no primeiro dia, o aumento em relação ao ano anterior), alegações fora do escopo explícitas; 2 = um estimando ambíguo; 1 = sem contraste; 0 = nada.

Síntese do capítulo

Uma dissertação se apoia em sua pergunta. Passe do tema ao problema e à pergunta deliberadamente, tornando cada estreitamento defensável; teste a pergunta segundo o FINER e escreva-a numa forma PICOT para infraestrutura, com uma exposição observável e um desfecho de consequência. Classifique a pergunta, porque seu tipo decide o desenho e a alegação mais forte disponível. Defina o estimando antes de ver os dados. Escolha um tipo de revisão que se ajuste ao projeto e diga isso. Busque entre disciplinas e na literatura cinzenta, teste a busca com itens conhecidos, encadeie as citações até um ponto de encerramento declarado com antecedência e registre tudo. Deduplique, trie com um segundo revisor pelo menos numa amostra, use o kappa como diagnóstico de critérios pouco claros e relate o fluxo. Sintetize por conceito: a matriz de conceitos mostra tanto o que se sabe quanto a lacuna que o seu estudo vai preencher.

Continue estudando — capítulo 01 de 08

← Página do curso · Índice de capítulos do curso · Capítulo 02 →

Siga para a próxima lição escrita.