Capítulo 3 — Proposta de contribuição original

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Estrutura da proposta"]
  N1["3.2 Definir os desfechos"]
  N2["3.3 Um modelo pequeno"]
  N3["Laboratório — Notas da matriz versus perda esperada"]
  N4["3.4 Riscos para o estudo"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Estrutura da proposta"]
  N1["3.2 Definir os desfechos"]
  N2["3.3 Um modelo pequeno"]
  N3["Laboratório — Notas da matriz versus perda esperada"]
  N4["3.4 Riscos para o estudo"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX015"]

[3.1 Estrutura da proposta]
    |
    v
[3.2 Definir os desfechos]
    |
    v
[3.3 Um modelo pequeno]
    |
    v
[Laboratório — Notas da matriz versus perda esperada]
    |
    v
[3.4 Riscos para o estudo]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) escrever uma proposta de doutorado para comparar métodos; (2) definir desfechos de consistência, calibração e qualidade de decisão; (3) mostrar com um modelo pequeno por que a escolha do método pode mudar as prioridades.

3.1 Estrutura da proposta

A proposta de Amara tem cinco partes: problema e lacuna, perguntas de pesquisa, desenho, plano de análise e riscos. As perguntas são: as estimativas quantitativas calibradas melhoram a concordância entre avaliadores; melhoram a calibração das previsões de probabilidade; e mudam quais riscos são tratados primeiro? O desenho usa os próprios avaliadores da Corvane, distribuídos aleatoriamente entre os métodos, avaliando os mesmos cenários sintéticos construídos a partir de padrões reais. A proposta declara as contribuições esperadas para a teoria, para a prática e para a base de evidências usada pelos reguladores. A Corvane revisa o rascunho.

3.2 Definir os desfechos

Cada desfecho tem uma medida. A consistência é medida pela concordância entre avaliadores, com kappa para as faixas e a razão entre estimativas para as quantidades. A calibração é medida pelo escore de Brier, a média das diferenças ao quadrado entre as probabilidades previstas e o que de fato aconteceu, em eventos de curto horizonte que podem ser verificados durante o estudo. A qualidade de decisão é medida por quanto a ordem de tratamento coincide com a ordem por perda esperada calculada por um painel de referência. Amara escreve essas definições no pré-registro para que não mudem depois.

3.3 Um modelo pequeno

Para mostrar por que a escolha do método importa, Amara monta um exemplo pequeno com seis cenários sintéticos, cada um com probabilidade anual e tamanho da perda. O laboratório enquadra cada cenário numa matriz cinco por cinco e também calcula a perda esperada. O ransomware sobre prontuários tem a maior perda esperada, cerca de 192 mil por ano, mas a matriz lhe dá nota 5, abaixo da fraude em pagamentos e da indisponibilidade de fornecedor, empatadas em 6. Isso reproduz em miniatura a inversão de ordem e os empates que Cox (2008) previu, e motiva o estudo. A Profa. Delgado concorda: é um ponto de partida claro.

Laboratório — Notas da matriz versus perda esperada em seis cenários

# Risk matrix versus expected loss for six synthetic scenarios (after Cox, 2008).
# (name, annual probability, loss in thousands)
S = [("ransomware on records", 0.08, 2400), ("payment fraud", 0.30, 180), ("laptop loss", 0.60, 25),
     ("supplier outage", 0.15, 900), ("insider data leak", 0.05, 1500), ("web defacement", 0.40, 40)]
def band_p(p): return 1 if p < 0.1 else 2 if p < 0.2 else 3 if p < 0.35 else 4 if p < 0.5 else 5
def band_i(x): return 1 if x < 50 else 2 if x < 200 else 3 if x < 1000 else 4 if x < 2000 else 5
rows = [(n, band_p(p) * band_i(x), p * x) for n, p, x in S]
for n, sc, el in sorted(rows, key=lambda t: -t[2]): print(f"{n}: matrix score {sc}, expected loss {el:.0f}k")
by_m = [n for n, _, _ in sorted(rows, key=lambda t: (-t[1], t[0]))]; by_e = [n for n, _, _ in sorted(rows, key=lambda t: -t[2])]
print("top by matrix:", by_m[0], "| top by expected loss:", by_e[0])
print("matrix ties at top score:", sum(1 for _, s, _ in rows if s == max(s for _, s, _ in rows)))

Execute com python3 lab_matrix.py. Saída verificada:

ransomware on records: matrix score 5, expected loss 192k
supplier outage: matrix score 6, expected loss 135k
insider data leak: matrix score 4, expected loss 75k
payment fraud: matrix score 6, expected loss 54k
web defacement: matrix score 4, expected loss 16k
laptop loss: matrix score 5, expected loss 15k
top by matrix: payment fraud | top by expected loss: ransomware on records
matrix ties at top score: 2

3.4 Riscos para o estudo

Amara lista os riscos do estudo: os avaliadores podem não concluir o treinamento de calibração; incidentes reais durante o estudo podem mudar atitudes; o próprio painel de referência pode ter viés; e a Corvane pode se reorganizar. Para cada um ela propõe uma mitigação, como um módulo de treinamento curto, o registro dos incidentes como covariáveis, o uso de três membros independentes no painel e um nível mínimo de participação combinado por escrito com a Corvane. Uma proposta de doutorado que nomeia seus riscos e mitigações é mais crível para examinadores e parceiros do que uma que supõe que tudo sairá conforme o plano.

Exemplo resolvido

Amara estrutura uma proposta com três perguntas, define como desfechos a concordância, o escore de Brier e a ordem de decisão, e usa um modelo de seis cenários para mostrar os empates e a inversão de ordem da matriz.

Caso sintético. Os cenários são sintéticos; Cox (2008) é real.

Erros e limites

Modelos pequenos ilustram, não provam. Painéis de referência podem compartilhar vieses.

Exercícios

• EX015 — Três perguntas. Sobre o que são as três perguntas de pesquisa?
  Mostrar critérios de avaliação

  Rubrica: 3 = concordância, calibração e ordem de tratamento;; 2 = três;; 1 = vago;; 0 = nenhuma.
• EX016 — Definição de Brier. O que é o escore de Brier?
  Mostrar critérios de avaliação

  Rubrica: 3 = média das diferenças ao quadrado entre previsões e resultados;; 2 = erro quadrático;; 1 = vago;; 0 = nenhuma.
• EX017 — Maior risco no modelo. Que cenário tem a maior perda esperada no laboratório?
  Mostrar critérios de avaliação

  Rubrica: 3 = ransomware sobre prontuários, cerca de 192 mil;; 2 = ransomware;; 1 = fraude em pagamentos;; 0 = nenhuma.
• EX018 — Topo da matriz. Que cenários lideram a matriz no laboratório?
  Mostrar critérios de avaliação

  Rubrica: 3 = fraude em pagamentos e indisponibilidade de fornecedor, empatadas em 6;; 2 = empate;; 1 = ransomware;; 0 = nenhuma.
• EX019 — Mitigação do painel. Como se mitiga o viés do painel de referência?
  Mostrar critérios de avaliação

  Rubrica: 3 = três membros independentes no painel;; 2 = três;; 1 = vago;; 0 = nenhuma.
• EX020 — Acordo de participação. O que Amara combinou por escrito com a Corvane?
  Mostrar critérios de avaliação

  Rubrica: 3 = um nível mínimo de participação;; 2 = participação;; 1 = vago;; 0 = nenhuma.

Síntese

Uma proposta forte define resultados mensuráveis e mostra, com um modelo, por que a pergunta importa.