OpenCyber AcademyMapa da aula
Aula 04 publicada. Mapa, exemplo, EX021.
flowchart TD
N0["4.1 Replicar a técnica"]
N1["Laboratório — Perda anual por Monte Carlo para ranso"]
N2["4.2 Ler a saída"]
N3["4.3 Pilotar a calibração"]
N4["4.4 Ajustar o protocolo"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX021"]
Desenho lógico
flowchart LR
N0["4.1 Replicar a técnica"]
N1["Laboratório — Perda anual por Monte Carlo para ranso"]
N2["4.2 Ler a saída"]
N3["4.3 Pilotar a calibração"]
N4["4.4 Ajustar o protocolo"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX021"]
[4.1 Replicar a técnica]
|
v
[Laboratório — Perda anual por Monte Carlo para ranso]
|
v
[4.2 Ler a saída]
|
v
[4.3 Pilotar a calibração]
|
v
[4.4 Ajustar o protocolo]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX021]
Objetivos de aprendizagem
Você vai (1) replicar uma técnica quantitativa publicada sobre dados sintéticos; (2) pilotar um treinamento de calibração com avaliadores; (3) ajustar o protocolo a partir das evidências do piloto.
4.1 Replicar a técnica
Amara primeiro replica a técnica central no estilo FAIR sobre dados sintéticos, para entendê-la por completo. Para o cenário de ransomware, ela define intervalos de frequência de eventos de perda e de magnitude da perda, com valores mínimo, mais provável e máximo, e executa uma simulação de Monte Carlo de vinte mil anos. O laboratório informa a perda anual média, a chance de haver alguma perda num ano e os percentis altos. Ela confere se os resultados se comportam como esperado quando os intervalos mudam, que é o teste básico de que uma simulação foi implementada corretamente.
Laboratório — Perda anual por Monte Carlo para ransomware sobre prontuários
# FAIR-style Monte Carlo: annual loss for ransomware on records (synthetic ranges).
import random
r = random.Random(5); N = 20000
def tri(lo, mode, hi): return r.triangular(lo, hi, mode)
losses = []
for _ in range(N):
freq = tri(0.02, 0.06, 0.20) # loss events per year
events = sum(1 for _ in range(3) if r.random() < freq)
losses.append(sum(tri(300, 1500, 6000) for _ in range(events)))
losses.sort()
mean = sum(losses) / N
print(f"mean annual loss {mean:.0f}k; P(loss>0) {sum(l > 0 for l in losses) / N:.3f}; 95th pct {losses[int(.95 * N)]:.0f}k; 99th pct {losses[int(.99 * N)]:.0f}k")
print(f"P(loss > 2000k) {sum(l > 2000 for l in losses) / N:.3f}")
Execute com python3 lab_mc.py. Saída verificada:
mean annual loss 709k; P(loss>0) 0.247; 95th pct 4062k; 99th pct 5810k
P(loss > 2000k) 0.163
4.2 Ler a saída
A simulação dá uma perda anual média de cerca de 709 mil, mas em aproximadamente três anos de cada quatro não há perda alguma, e o percentil 95 fica em cerca de 4,06 milhões. A chance de perder mais de dois milhões num ano é de cerca de 16%. Amara observa que a média esconde essa assimetria: um conselho que ouvisse só a média entenderia mal o risco. Ela planeja apresentar probabilidades de excedência de perda, que respondem às perguntas que os conselhos de fato fazem, como a probabilidade de uma perda superar o nível da reserva.
4.3 Pilotar a calibração
Amara pilota um módulo de calibração de duas horas com seis avaliadores voluntários, e todos os seis o concluem. Eles praticam dar intervalos de noventa por cento para perguntas de conhecimentos gerais e recebem retorno sobre quantas vezes a resposta verdadeira caiu dentro do intervalo. Antes do treinamento, os intervalos continham a resposta em cerca de metade das vezes; depois, perto de oito em dez. Hubbard e Seiersen (2016) descrevem esse tipo de treinamento. Os avaliadores relatam que o exercício foi desconfortável, mas útil, e dois dizem que ele mudou sua maneira de pensar a incerteza nas próprias estimativas de risco.
4.4 Ajustar o protocolo
O piloto leva a três mudanças. O módulo de calibração é encurtado para noventa minutos, porque a atenção caiu na segunda hora. As descrições dos cenários são reescritas para tirar o jargão clínico que confundia os avaliadores não clínicos. O plano de análise acrescenta a excedência de perda num limiar fixo como desfecho secundário, porque os avaliadores do piloto a acharam mais significativa do que a média. Amara registra cada mudança e seu motivo num registro de emendas enviado ao comitê de ética, que o aprova, mantendo inalterados os desfechos primários pré-registrados.
Exemplo resolvido
Amara replica um modelo de perdas por Monte Carlo, lê sua saída assimétrica, pilota o treinamento de calibração e registra as emendas do protocolo.
Caso sintético. Os intervalos, os resultados e os números do piloto são sintéticos; Hubbard e Seiersen (2016) é real.
Erros e limites
As simulações dependem dos intervalos de entrada. Os ganhos do piloto podem não se manter.
Exercícios
- EX021 — Tamanho da simulação. Quantos anos simulados o laboratório executou?
Mostrar critérios de avaliação
Rubrica: 3 = vinte mil;; 2 = 20.000;; 1 = vago;; 0 = nenhuma. - EX022 — Perda anual média. Que perda anual média o laboratório informou?
Mostrar critérios de avaliação
Rubrica: 3 = cerca de 709 mil;; 2 = 709k;; 1 = vago;; 0 = nenhuma. - EX023 — Anos sem perda. Em que parcela aproximada dos anos não houve perda?
Mostrar critérios de avaliação
Rubrica: 3 = cerca de três em quatro;; 2 = 75%;; 1 = vago;; 0 = nenhuma. - EX024 — Número de excedência. Qual era a chance de perder mais de dois milhões?
Mostrar critérios de avaliação
Rubrica: 3 = cerca de 16%;; 2 = 0,163;; 1 = vago;; 0 = nenhuma. - EX025 — Calibração no piloto. Como as taxas de acerto dos intervalos mudaram com o treinamento?
Mostrar critérios de avaliação
Rubrica: 3 = de cerca de metade para cerca de oito em dez;; 2 = melhoraram;; 1 = vago;; 0 = nenhuma. - EX026 — Desfechos inalterados. O que Amara manteve inalterado ao emendar o protocolo?
Mostrar critérios de avaliação
Rubrica: 3 = os desfechos primários pré-registrados;; 2 = desfechos primários;; 1 = vago;; 0 = nenhuma.
Síntese
Replicação, pilotagem e emendas registradas preparam um estudo principal sólido.