OpenCyber AcademyMapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Conduzir o estudo"]
N1["5.2 Resultados de calibração"]
N2["Laboratório — Escores de Brier das previsões por fai"]
N3["5.3 Ordem de tratamento"]
N4["5.4 Validação independente"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Conduzir o estudo"]
N1["5.2 Resultados de calibração"]
N2["Laboratório — Escores de Brier das previsões por fai"]
N3["5.3 Ordem de tratamento"]
N4["5.4 Validação independente"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX027"]
[5.1 Conduzir o estudo]
|
v
[5.2 Resultados de calibração]
|
v
[Laboratório — Escores de Brier das previsões por fai]
|
v
[5.3 Ordem de tratamento]
|
v
[5.4 Validação independente]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem
Você vai (1) conduzir uma comparação randomizada de métodos de avaliação; (2) analisar a calibração com o escore de Brier; (3) validar os resultados com um painel independente.
5.1 Conduzir o estudo
Os trinta avaliadores da Corvane são distribuídos aleatoriamente em dois grupos de quinze. Um grupo usa a matriz atual com suas definições de faixas; o outro conclui o módulo de calibração de noventa minutos e fornece intervalos de probabilidade e de perda. Os dois grupos avaliam os mesmos vinte cenários sintéticos e preveem a probabilidade de trinta eventos de curto horizonte que podem ser verificados durante o estudo, como o descumprimento de uma meta mensal de aplicação de patches. Amara acompanha a conclusão sem ver as respostas individuais até o fim do estudo, o que protege os avaliadores de pressões.
5.2 Resultados de calibração
Quando o trimestre termina, onze dos trinta eventos previstos aconteceram. O laboratório calcula o escore de Brier de cada grupo; quanto menor, melhor. O grupo da matriz, cujas previsões são os pontos médios das faixas, tem 0,180; o grupo calibrado, 0,167. A diferença favorece o grupo calibrado, mas é modesta, e com trinta eventos a incerteza é ampla. Amara relata o resultado como uma pequena melhora coerente com sua hipótese, e não como prova decisiva, e observa que seriam necessários mais eventos para uma conclusão firme.
Laboratório — Escores de Brier das previsões por faixa da matriz e calibradas
# Calibration of assessors' probability forecasts for 30 synthetic quarterly events.
import random
r = random.Random(21)
events = [r.random() < p for p in [0.1] * 10 + [0.3] * 10 + [0.6] * 10]
true_p = [0.1] * 10 + [0.3] * 10 + [0.6] * 10
matrix_group = [0.5 if p >= 0.3 else 0.2 for p in true_p] # band midpoints from an ordinal scale
trained_group = [min(0.95, max(0.05, p + r.uniform(-0.08, 0.08))) for p in true_p]
def brier(f): return sum((fi - e) ** 2 for fi, e in zip(f, events)) / len(f)
print(f"events occurred {sum(events)}/30; Brier matrix-band group {brier(matrix_group):.3f}; Brier calibrated group {brier(trained_group):.3f}")
Execute com python3 lab_brier.py. Saída verificada:
events occurred 11/30; Brier matrix-band group 0.180; Brier calibrated group 0.167
5.3 Ordem de tratamento
Para a qualidade de decisão, Amara compara os cinco primeiros cenários de cada grupo com a classificação de referência por perda esperada, calculada por um painel independente de três pessoas. Os cinco primeiros do grupo calibrado contêm quatro dos cinco primeiros do painel; os do grupo da matriz, três, com dois empates que tiveram de ser desfeitos por discussão. Ela observa que os empates obrigaram o grupo da matriz a recorrer ao julgamento informal, exatamente onde a inconsistência entra. A diferença é pequena em termos absolutos, mas importa porque os orçamentos de tratamento seguem o topo da lista.
5.4 Validação independente
Para validar os achados, Amara pede a uma segunda autoridade de saúde, também fictícia, que repita uma versão reduzida do estudo com doze avaliadores. A direção dos resultados é a mesma: calibração um pouco melhor e ordem de tratamento mais próxima no grupo calibrado, embora com diferenças menores. Ela trata isso como replicação parcial. A validação independente protege contra resultados que dependem da cultura de uma única organização ou do entusiasmo de um único parceiro de pesquisa, e fortalece a afirmação que ela poderá fazer na tese.
Exemplo resolvido
Amara randomiza trinta avaliadores, encontra Brier de 0,167 contra 0,180, melhor concordância nos cinco primeiros para o grupo calibrado e replicação parcial em outra organização.
Caso sintético. As duas autoridades de saúde e todos os dados são sintéticos.
Erros e limites
Trinta eventos geram incerteza ampla. Os avaliadores podem trocar informações entre os grupos.
Exercícios
- EX027 — Alocação dos grupos. Como os avaliadores foram distribuídos entre os métodos?
Mostrar critérios de avaliação
Rubrica: 3 = aleatoriamente, quinze por grupo;; 2 = aleatória;; 1 = por antiguidade;; 0 = nenhuma. - EX028 — Eventos ocorridos. Quantos dos trinta eventos previstos aconteceram?
Mostrar critérios de avaliação
Rubrica: 3 = onze;; 2 = 11;; 1 = vago;; 0 = nenhuma. - EX029 — Comparação de Brier. Que escores de Brier os grupos alcançaram?
Mostrar critérios de avaliação
Rubrica: 3 = matriz 0,180, calibrado 0,167;; 2 = calibrado menor;; 1 = vago;; 0 = nenhuma. - EX030 — Sobreposição nos cinco primeiros. Quantos dos cinco primeiros do painel cada grupo incluiu?
Mostrar critérios de avaliação
Rubrica: 3 = calibrado quatro, matriz três;; 2 = quatro contra três;; 1 = vago;; 0 = nenhuma. - EX031 — Efeito dos empates. Por que os empates importam no grupo da matriz?
Mostrar critérios de avaliação
Rubrica: 3 = obrigam ao julgamento informal, onde a inconsistência entra;; 2 = empates;; 1 = vago;; 0 = nenhuma. - EX032 — Resultado da replicação. O que mostrou o estudo da segunda autoridade?
Mostrar critérios de avaliação
Rubrica: 3 = mesma direção, diferenças menores;; 2 = replicação parcial;; 1 = vago;; 0 = nenhuma.
Síntese
Um estudo randomizado com validação independente sustenta uma vantagem modesta, apresentada com honestidade.