Capítulo 37 — Seminário de revisão de evidências
Mapa da aula
Aula 37 publicada. Mapa, exemplo, EX074.
flowchart TD
N0["37.1 Uma lista de revisão"]
N1["37.2 Amostras pequenas e intervalos"]
N2["37.4 Revisão por pares"]
N3["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX074"]
Desenho lógico
flowchart LR
N0["37.1 Uma lista de revisão"]
N1["37.2 Amostras pequenas e intervalos"]
N2["37.4 Revisão por pares"]
N3["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> Q["EX074"]
[37.1 Uma lista de revisão]
|
v
[37.2 Amostras pequenas e intervalos]
|
v
[37.4 Revisão por pares]
|
v
[Síntese do capítulo]
|
v
[Exemplo resolvido] --> [Exercício EX074]
Objetivos de aprendizagem e conexão
Depois deste seminário, você consegue (1) revisar criticamente um estudo, relatório ou alegação de fornecedor sobre segurança usando uma lista estruturada; (2) quantificar a incerteza de resultados de amostras pequenas com intervalos de confiança; (3) dar e receber uma revisão por pares que melhore o trabalho; e (4) decidir quanto peso uma evidência merece no seu trabalho de conclusão. O seminário se apoia nos Capítulos 15, 18, 27 e 33 e prepara a implementação e a avaliação do trabalho de conclusão (Capítulos 38–39).
37.1 Uma lista de revisão
Para qualquer estudo, relatório ou alegação: Pergunta — o que exatamente se alega? Dados — de onde vieram, quantos, quão representativos? Método — poderia ser repetido; houve uma comparação ou um controle? Resultados — as incertezas são reportadas; os números fecham? Validade — construto, interna, externa, confiabilidade (Capítulo 18)? Interesses — quem financiou ou produziu o trabalho, e o que preferiria encontrar? Limites — o trabalho os declara, e as suas conclusões ficam dentro deles? Na segurança, as fraquezas comuns incluem a avaliação em dados irrealistas, o desprezo pela taxa de base e resultados que não se transferem para ambientes reais (Arp et al., 2022; Sommer and Paxson, 2010). Na detecção de anomalias em séries temporais, Kim e colegas mostraram que um protocolo de avaliação popular pode fazer até notas aleatórias parecerem fortes (Kim et al., 2022).
37.2 Amostras pequenas e intervalos
A evidência dos serviços críticos muitas vezes vem de poucas observações: cinco exercícios de restauração, vinte exercícios, uma dúzia de incidentes. Uma estimativa pontual ("85% dos exercícios cumpriram o objetivo") esconde o quanto ela é incerta. Um intervalo de confiança dá uma faixa de valores plausíveis. Duas abordagens comuns para uma proporção: o bootstrap, que reamostra os dados observados muitas vezes (Efron, 1979), e o intervalo de escore de Wilson, uma fórmula que se comporta bem para amostras pequenas e proporções perto de 0 ou de 1 (Wilson, 1927). O bootstrap é geral, mas se comporta mal em tamanhos pequenos e perto dos limites — ele nunca consegue produzir um valor acima do máximo observado, então, com 4 sucessos em 5, pode sugerir um limite superior de 100%.
37.3 Exemplo resolvido e Laboratório 14 (sintético)
Este caso é sintético. O CEDC fez 20 exercícios de restauração; 17 cumpriram o objetivo de 4 horas. Um operador menor fez 5; 4 o cumpriram.
# Lab 14 - bootstrap confidence interval for a restore-drill success rate (synthetic, seed 14, offline)
import random
random.seed(14)
drills = [1] * 17 + [0] * 3 # 20 restore drills, 17 met the 4-hour objective
obs = sum(drills) / len(drills)
boots = sorted(sum(random.choice(drills) for _ in drills) / len(drills) for _ in range(10_000))
lo, hi = boots[249], boots[9749]
print(f"observed success = {obs:.2f}; 95% bootstrap interval = [{lo:.2f}, {hi:.2f}]")
small = [1, 1, 1, 0, 1]
boots = sorted(sum(random.choice(small) for _ in small) / len(small) for _ in range(10_000))
print(f"with only 5 drills (4 met): [{boots[249]:.2f}, {boots[9749]:.2f}]")
from math import sqrt
def wilson(k, n, z=1.96):
p = k / n; d = 1 + z*z/n
c = (p + z*z/(2*n)) / d; h = z * sqrt(p*(1-p)/n + z*z/(4*n*n)) / d
return c - h, c + h
print("Wilson 95%% for 17/20: [%.2f, %.2f]; for 4/5: [%.2f, %.2f]" % (*wilson(17, 20), *wilson(4, 5)))
Saída esperada:
observed success = 0.85; 95% bootstrap interval = [0.70, 1.00]
with only 5 drills (4 met): [0.40, 1.00]
Wilson 95% for 17/20: [0.64, 0.95]; for 4/5: [0.38, 0.96]
Os dois métodos dizem, em substância, a mesma coisa: 17 de 20 é compatível com uma taxa real de sucesso em qualquer ponto entre cerca de dois terços e cerca de 95%; 4 de 5 é compatível com qualquer coisa entre menos de 40% e quase sempre. O limite superior de 1,00 do bootstrap é um artefato de reamostrar dados que não contêm nenhum valor acima de 1; o intervalo de Wilson é a melhor escolha aqui. Para o conselho, a mensagem é: "temos evidências boas, mas não conclusivas, de que as restaurações costumam cumprir as quatro horas; uma falha em cada quatro não nos surpreenderia". Cinco exercícios não conseguem sustentar uma afirmação de confiabilidade.
37.4 Revisão por pares
Os grupos do seminário trocam os capítulos de evidências dos trabalhos de conclusão. Uma revisão útil declara o que o trabalho afirma, o que é convincente, os dois ou três problemas mais importantes (cada um com uma correção sugerida) e os pontos menores. Revise o trabalho, e não a pessoa; seja específico ("a afirmação sobre o tempo de restauração se apoia num único exercício num ambiente de teste; você pode acrescentar as condições do exercício e um intervalo?"). Os autores respondem ponto a ponto: aceito e alterado, ou recusado com os motivos. Ao comentário sobre o tempo de restauração, por exemplo: "Acrescentei as condições do exercício; não é possível um intervalo a partir de um único exercício, então a afirmação agora está declarada como uma única observação."
37.5 Erros comuns e limites
- Reportar uma proporção sem o seu tamanho de amostra ou intervalo.
- Tratar os benchmarks dos fornecedores como evidência independente.
- Revisões que só elogiam ou só atacam.
- Ignorar como os protocolos de avaliação podem inflar os resultados.
O Laboratório 14 mostra o primeiro: "85 %" sem "de 20" e sem um intervalo esconde que a taxa real pode ser de 64 %. O próprio benchmark de um fornecedor de detectores (EX074) é o segundo. Uma revisão que diz só "ótimo trabalho" não ajuda ninguém. O quarto é o argumento de Kim e colegas sobre os protocolos de avaliação. "A taxa de sucesso da restauração se apoia nos 17 de 20 do Laboratório 14" nomeia a evidência; "os resultados parecem otimistas" não nomeia.
Exercícios — capítulo 37
EX073 — Quantos exercícios? Objetivo: relacionar o tamanho da amostra com a precisão. Entradas: a função de Wilson do Laboratório 14. Etapas: calcule o intervalo de Wilson de 95% para 34/40 e 85/100 e comente como a evidência se acumula. Evidência esperada: dois intervalos e um comentário. Rubrica: 3 = aproximadamente [0,71, 0,93] e [0,77, 0,91], com a largura encolhendo aproximadamente com a raiz quadrada de n; recomenda um programa de exercícios; 2 = só os intervalos; 1 = um; 0 = nada.
EX074 — Revise uma alegação. Objetivo: aplicar a lista. Entradas: um folheto de fornecedor (sintético): "O nosso detector de anomalias de TO alcançou 99,7% de acurácia num conjunto de dados público de um testbed de água." Etapas: aplique a lista e liste quatro perguntas a fazer ao fornecedor. Evidência esperada: revisão e perguntas. Rubrica: 3 = a acurácia engana sob desbalanceamento (Capítulo 27), realismo e transferência do testbed, protocolo de avaliação, interesses; perguntas sobre precisão/revocação no limiar de operação, resultados de implantação real, alarmes falsos por dia, avaliação independente; 2 = parcial; 1 = genérico; 0 = nada.
Síntese do capítulo
A revisão de evidências é ceticismo estruturado: pergunta, dados, método, resultados, validade, interesses e limites. Reporte os resultados de amostras pequenas com intervalos — Wilson para proporções — e deixe a revisão por pares melhorar o trabalho sendo específica, priorizada e respeitosa.
Continue estudando — capítulo 37 de 40
← Capítulo 36 · Índice de capítulos do curso · Capítulo 38 →
Siga para a próxima lição escrita.