Capítulo 10 — Leitura e crítica de pesquisas

Capítulo 10 — Leitura e crítica de pesquisas

Mapa da aula

Aula 10 publicada. Mapa, exemplo, EX046.

flowchart TD
  N0["10.1 Três tipos de fonte"]
  N1["10.2 Ler um estudo: o desenho primeiro"]
  N2["10.3 Ler um alerta"]
  N3["10.4 Ler uma alegação de fornecedor"]
  N4["10.5 Confusão e o paradoxo de Simpson"]
  N5["10.6 Transferência"]
  N6["10.7 A nota de evidências"]
  N7["10.9 Atividade prática: agregação, denominadores e d"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX046"]

Desenho lógico

flowchart LR
  N0["10.1 Três tipos de fonte"]
  N1["10.2 Ler um estudo: o desenho primeiro"]
  N2["10.3 Ler um alerta"]
  N3["10.4 Ler uma alegação de fornecedor"]
  N4["10.5 Confusão e o paradoxo de Simpson"]
  N5["10.6 Transferência"]
  N6["10.7 A nota de evidências"]
  N7["10.9 Atividade prática: agregação, denominadores e d"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX046"]

[10.1 Três tipos de fonte]
    |
    v
[10.2 Ler um estudo: o desenho primeiro]
    |
    v
[10.3 Ler um alerta]
    |
    v
[10.4 Ler uma alegação de fornecedor]
    |
    v
[10.5 Confusão e o paradoxo de Simpson]
    |
    v
[10.6 Transferência]
    |
    v
[10.7 A nota de evidências]
    |
    v
[10.9 Atividade prática: agregação, denominadores e d]
    |
    v
[Exemplo resolvido] --> [Exercício EX046]

Objetivos de aprendizagem e conexão

Ao final deste capítulo, você deverá ser capaz de:

1. Ler um estudo publicado, um alerta oficial e uma alegação de fornecedor pelo que cada um pode contribuir para uma decisão prática.
2. Identificar o desenho de um estudo e a alegação mais forte que esse desenho sustenta.
3. Verificar denominadores, comparações e definições de desfecho, e detectar confusão, como o paradoxo de Simpson.
4. Julgar se uma constatação se transfere para a sua organização e o seu setor.
5. Escrever uma nota de evidências curta que declare o que uma fonte mostra, o que não mostra e o que você fará com ela.

Um especialista não precisa produzir pesquisas, mas precisa usá-las: para escolher controles, para definir probabilidades (Capítulos 1 e 4), para discutir com fornecedores e para informar conselhos. Este capítulo ensina a ler para decidir. O Capítulo 11 aplica, então, o mesmo olhar crítico à avaliação do seu próprio projeto.

10.1 Três tipos de fonte

Nenhuma é automaticamente confiável ou inútil. Cada uma responde bem a algumas perguntas e mal a outras. Seu trabalho é associar a fonte à pergunta.

10.2 Ler um estudo: o desenho primeiro

Antes de ler os resultados, identifique o desenho, porque ele limita a alegação. Uma comparação antes e depois num único local pode mostrar que algo mudou, mas tem dificuldade para mostrar por quê. Uma comparação com um grupo de controle não afetado, ou uma série temporal interrompida, sustenta uma linguagem causal mais forte. Uma pesquisa com vítimas não consegue estimar com que frequência os ataques acontecem na população inteira. Depois, verifique: a unidade (hospital, paciente, dia), o desfecho e como ele foi medido, a comparação (o que teria acontecido de outro modo), a janela de tempo e o contexto.

Considere dois estudos reais do setor de saúde. Ghafur e colegas analisaram dados nacionais de atividade hospitalar em torno do ataque WannaCry de 2017 e não encontraram mudança significativa na atividade total do conjunto das trusts inglesas, mas cerca de 6% menos internações por dia nos hospitais infectados, uma perda estimada de £5,9 milhões em atividade e nenhuma diferença detectada na mortalidade — ressalvando que a mortalidade é uma medida grosseira do dano aos pacientes (Ghafur et al., 2019). Dameff e colegas compararam os volumes dos departamentos de emergência de dois hospitais vizinhos a um sistema de saúde sob um ataque de ransomware de um mês, em 2021, antes, durante e depois do ataque, e relataram aumentos significativos na ocupação, nas chegadas de ambulâncias e em outras medidas durante o ataque (Dameff et al., 2023). Ambos são valiosos; ambos são limitados pelo desenho. O primeiro usa dados nacionais com comparação entre trusts; o segundo é um estudo antes e depois numa única instituição, de modo que mudanças sazonais ou locais não podem ser totalmente excluídas. Nenhum dos dois diz à Merrow Health qual a probabilidade de um ataque; ambos informam quão graves e quão regionais as consequências podem ser.

Os conjuntos de dados de nível populacional respondem a perguntas diferentes. Neprash e colegas usaram uma base de dados de ataques de ransomware publicamente relatados contra organizações prestadoras de cuidados de saúde nos EUA e constataram que os ataques anuais mais do que dobraram de 2016 a 2021 e que quase metade deles perturbou a prestação de cuidados (Neprash et al., 2022). Como os dados são de ataques publicamente relatados, as tendências combinam mudanças nos ataques com mudanças nos relatos — uma limitação que o desenho dos autores torna explícita e que o leitor precisa levar adiante.

10.3 Ler um alerta

Alertas como o alerta conjunto da CISA sobre o pré-posicionamento patrocinado por Estados na infraestrutura crítica dos EUA (AA24-038A, 2024) trazem técnicas, indicadores e mitigações de casos investigados. Leia-os buscando: o que foi observado (técnicas, setores visados, vetores de entrada); o que é recomendado (mitigações, muitas vezes priorizadas); e o que é inferido (intenção, escala). Traduza as técnicas observadas em perguntas sobre o seu próprio ambiente — "veríamos isso?" —, e não numa probabilidade. Um alerta é evidência de que uma ameaça existe e de como ela opera, não uma estimativa de com que frequência ela tem sucesso.

10.4 Ler uma alegação de fornecedor

As alegações de fornecedores merecem a mesma disciplina de leitura. Pergunte: qual é o desfecho (incidentes relatados? incidentes detectados? perdas?); qual é o denominador (clientes, locais, operadores-ano?); quem está em cada grupo e por quê (autosseleção, porte, setor); e o que um produto de detecção faria com o desfecho (mais monitoramento encontra mais incidentes). A pesquisa sobre aprendizado de máquina em segurança lista armadilhas — viés de amostragem, bisbilhotagem de dados (data snooping), linhas de base inadequadas, falácia da taxa de base, modelos de ameaça irrealistas — que se aplicam a muitas avaliações de produtos (Arp et al., 2022).

10.5 Confusão e o paradoxo de Simpson

Quando os grupos diferem num fator que também afeta o desfecho, uma comparação agregada pode apontar na direção oposta à de todas as comparações dentro dos grupos. Esse é o paradoxo de Simpson (Simpson, 1951). Nos dados de segurança, o porte é um fator de confusão frequente: os grandes operadores têm mais sistemas, mais obrigações de notificação e mais incidentes, e compram produtos em proporções diferentes dos pequenos. O remédio é estratificar (comparar dentro das faixas de porte) ou padronizar (reponderar os grupos para a mesma composição) e perguntar se o desfecho mede dano ou detecção.

10.6 Transferência

Uma constatação só se transfere para o seu contexto se o mecanismo que a produziu operar ali. A literatura formal sobre transportabilidade pergunta quais diferenças entre populações mudam o efeito (Pearl e Bareinboim, 2014); na prática, liste as condições de que a constatação dependia — porte, setor, notificação regulatória, tecnologia, pessoal — e verifique cada uma para a sua organização. Uma constatação sobre mortalidade de um sistema nacional de saúde com arranjos de desvio em toda a rede pode não se transferir para uma região rural com um único hospital.

Para o folheto do fornecedor deste capítulo, a transferência é uma pergunta adicional, depois da confusão: mesmo uma comparação bem desenhada entre outros operadores só se aplicaria a Merrow Bay se o porte, a prática de notificação e as plantas deles se parecessem com os dos membros do fórum. Escreva as condições e marque cada uma como verificada, desconhecida ou diferente.

10.7 A nota de evidências

Resuma cada fonte importante para os tomadores de decisão numa nota de evidências curta: a pergunta para a qual ela ajuda; o desenho e o contexto; a constatação principal, com seu tamanho e sua incerteza; a alegação mais forte que ela sustenta; as principais limitações e sua direção provável; a transferência para o nosso contexto; e o que faremos com ela. Mantenha as notas numa biblioteca para que as decisões posteriores possam citá-las (os registros de decisão do Capítulo 1).

Uma nota é curta por desenho, geralmente uma página, para que um diretor consiga lê-la antes de uma reunião. A alegação mais forte sustentada deve ser escrita nas palavras que você estaria disposto a defender diante dos autores; se a conclusão da própria fonte for mais forte, diga isso e explique a diferença. Date cada nota e registre quando ela deve ser revista, já que os alertas e os dados de fornecedores envelhecem depressa.

10.8 Exemplo resolvido: o folheto de um fornecedor de monitoramento (sintético)

Um fornecedor de monitoramento de TO diz ao fórum de resiliência: "Os clientes que usam o nosso monitoramento tiveram 40% menos incidentes relatados." Instado a mostrar os dados, o fornecedor entrega contagens por porte de operador. O Laboratório 10 as relê.

O primeiro movimento do especialista é perguntar o que está por trás do número antes de discuti-lo: o que conta como incidente, ao longo de quantos operadores-ano e como os clientes e os não clientes diferem. A disposição do fornecedor de entregar contagens por porte já é útil; um fornecedor que se recusa a compartilhar qualquer denominador deu ao fórum uma razão para tratar a alegação como marketing. O fórum concorda em revisar os dados em conjunto, em vez de responder ao folheto.

10.9 Atividade prática: agregação, denominadores e detecção

# Lab 10 - re-reading a vendor claim: aggregation, denominators and survivorship (offline, stdlib only)
# Synthetic: a vendor brochure says "customers using our OT monitoring had 40% fewer reported incidents".
# Below are the (invented) counts behind such a claim, split by operator size.
DATA = {  # stratum: {group: (operators, operator-years observed, incidents reported)}
    "small (<50 staff)": {"monitoring": (240, 720, 54), "none": (100, 300, 15)},
    "large (>=50 staff)": {"monitoring": (20, 60, 18),   "none": (100, 300, 75)},
}
def rate(g):
    oy = sum(DATA[s][g][1] for s in DATA); inc = sum(DATA[s][g][2] for s in DATA)
    return inc / oy, inc, oy
for g in ("monitoring", "none"):
    r, inc, oy = rate(g); print(f"pooled {g:10s} {inc:3d} incidents / {oy:4d} operator-years = {r:.3f}")
rm, rn = rate("monitoring")[0], rate("none")[0]
print(f"pooled relative difference: {(rm - rn) / rn:+.0%}")
for s, grp in DATA.items():
    a = grp["monitoring"][2] / grp["monitoring"][1]; b = grp["none"][2] / grp["none"][1]
    print(f"{s:20s} monitoring {a:.3f}  none {b:.3f}  ratio {a/b:.2f}")
# Standardize both groups to the same size mix (the 'none' group's operator-years) - direct standardization
w = {s: DATA[s]["none"][1] for s in DATA}; W = sum(w.values())
std = {g: sum(w[s] / W * DATA[s][g][2] / DATA[s][g][1] for s in DATA) for g in ("monitoring", "none")}
print(f"size-standardized: monitoring {std['monitoring']:.3f}  none {std['none']:.3f}  ratio {std['monitoring']/std['none']:.2f}")

Saída esperada:

pooled monitoring  72 incidents /  780 operator-years = 0.092
pooled none        90 incidents /  600 operator-years = 0.150
pooled relative difference: -38%
small (<50 staff)    monitoring 0.075  none 0.050  ratio 1.50
large (>=50 staff)   monitoring 0.300  none 0.250  ratio 1.20
size-standardized: monitoring 0.188  none 0.150  ratio 1.25

Interpretação. No agregado, os operadores monitorados relatam 0,092 incidente por operador-ano, contra 0,150 dos não monitorados, uma diferença de 38% — a alegação do folheto. Mas, dentro de cada faixa de porte, os operadores monitorados relatam mais incidentes: 1,5 vez mais entre os pequenos, 1,2 vez entre os grandes. A comparação agregada se inverte porque a maioria dos operadores monitorados é pequena, e os operadores pequenos relatam menos incidentes, seja lá o que usem. Padronizados para a mesma composição de porte, os operadores monitorados relatam 1,25 vez mais incidentes. E "incidentes relatados" é um desfecho de detecção: um produto de monitoramento que funciona deveria aumentar os incidentes relatados, ao encontrar o que passava despercebido. Nem os números agregados nem os estratificados dizem algo sobre o dano evitado. A resposta certa ao fornecedor não é "seu produto é ruim", mas "sua alegação não decorre desses dados; mostre-nos desfechos em unidades de serviço, pareados por porte e setor, ao longo do tempo".

10.10 Erros comuns e limites

• Ler os resultados antes de identificar o desenho.
• Tratar a lista de casos de um alerta como uma estimativa de frequência.
• Comparar grupos que diferem em porte ou setor sem estratificar.
• Tratar os incidentes relatados como uma medida de dano ou de segurança.
• Aceitar uma constatação sem verificar se seu mecanismo opera no seu contexto.
• Descartar uma fonte inteiramente porque ela tem uma fraqueza.
• Citar uma fonte para mais do que ela mostrou.

O limite da leitura crítica é o tempo. Priorize as fontes que poderiam mudar uma decisão (o valor da informação do Capítulo 1), leia essas com cuidado e aceite uma leitura mais leve para o resto.

Exercícios — capítulo 10

EX046 — Releia o folheto. Objetivo: reproduzir e explicar uma inversão. Insumos: Laboratório 10. Restrições: 250 palavras para a explicação. Passos: (1) executar o laboratório; (2) explicar a inversão ao fórum em linguagem simples; (3) propor duas medidas de desfecho que mostrariam melhor o valor do produto. Evidência esperada: saída e explicação. Rubrica: 3 = inversão explicada pela composição de porte e pelo efeito de detecção, razão padronizada citada, medidas de desfecho ligadas ao dano (por exemplo, horas de interrupção do serviço, tempo para detectar testes injetados); 2 = inversão explicada, medidas fracas; 1 = repete o folheto; 0 = nada.

EX047 — Nota de evidências: hospitais vizinhos. Objetivo: preparar uma nota sobre um estudo para a Merrow Health. Insumos: o resumo de Dameff et al. (2023). Restrições: usar a estrutura da §10.7; citar números apenas da fonte. Passos: escrever a nota. Evidência esperada: nota de uma página. Rubrica: 3 = desenho identificado como antes e depois numa única instituição, constatações declaradas com suas medidas, limitações (local único, sazonalidade, nenhuma região de controle) com direção, transferência para o sistema de três hospitais de Merrow Bay discutida, ação (por exemplo, planejamento regional de desvios) declarada; 2 = limitações sem direção; 1 = exagera a causalidade; 0 = nada.

EX048 — Nota de evidências: WannaCry. Objetivo: preparar uma nota sobre um estudo nacional. Insumos: Ghafur et al. (2019) e a investigação do NAO. Restrições: distinguir os propósitos das duas fontes. Passos: escrever uma nota que responda "o que o WannaCry diz à Merrow Health sobre as consequências de um evento de ransomware em grande escala?". Evidência esperada: nota. Rubrica: 3 = as constatações do estudo (cerca de 6% menos internações por dia nos hospitais infectados; nenhuma diferença de mortalidade detectada, com a ressalva dos autores) e o propósito de auditoria do NAO distinguidos, questões de transferência declaradas, ação declarada; 2 = fontes misturadas; 1 = "nenhuma morte, logo risco baixo"; 0 = nada.

EX049 — Do alerta às perguntas. Objetivo: usar bem um alerta. Insumos: CISA AA24-038A. Restrições: não estimar probabilidades a partir dele. Passos: (1) extrair cinco técnicas ou comportamentos observados; (2) para cada um, escrever a pergunta "veríamos isso na Merrow Water?" e a fonte de evidência que a responderia; (3) escolher duas mitigações recomendadas e mapeá-las para as práticas do Capítulo 2. Evidência esperada: tabela. Rubrica: 3 = comportamentos observados resumidos com exatidão (por exemplo, uso de contas válidas e técnicas living-off-the-land), perguntas de detecção ligadas a logs específicos, mitigações mapeadas; 2 = mistura observação e inferência; 1 = apenas um resumo; 0 = nada.

EX050 — Verificação de armadilhas. Objetivo: aplicar uma lista de verificação de pesquisa à avaliação de um produto. Insumos: um fornecedor afirma que seu detector de anomalias baseado em aprendizado de máquina "alcançou 99% de acurácia num conjunto de dados público de uma bancada de testes de tratamento de água". Restrições: usar as armadilhas de Arp et al. (2022). Passos: listar cinco perguntas que você faria e por que cada uma importa. Evidência esperada: lista. Rubrica: 3 = a questão da taxa de base e de acurácia versus precisão, vazamento entre treino e teste (data snooping), transferência da bancada para a planta, comparação com uma linha de base, realismo do modelo de ameaça; 2 = três; 1 = ceticismo genérico; 0 = nada.

Síntese do capítulo

Leia para decidir. Associe a fonte à pergunta: estudos para tamanhos de efeito e mecanismos, alertas para técnicas e mitigações, relatórios de fornecedores para hipóteses a verificar. Identifique o desenho antes dos resultados e limite as alegações ao que o desenho sustenta. Verifique o desfecho, o denominador, a comparação e os fatores de confusão; estratifique ou padronize quando os grupos diferirem, e lembre-se de que os incidentes relatados medem a detecção tanto quanto o dano. Pergunte se o mecanismo se transfere para o seu contexto. Registre o que você aprende em notas de evidências que os registros de decisão possam citar.

Continue estudando — capítulo 10 de 12

← Capítulo 09 · Índice de capítulos do curso · Capítulo 11 →

Siga para a próxima lição escrita.