Capítulo 1 — Integridade e métodos avançados de pesquisa

Mapa da aula

Aula 01 publicada. Mapa, exemplo, EX001.

flowchart TD
  N0["1.1 Uma pergunta falseável"]
  N1["1.2 Por que as matrizes são contestadas"]
  N2["1.3 Regras de integridade"]
  N3["1.4 Concordância entre avaliadores"]
  N4["Laboratório — Concordância entre dois avaliadores da"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX001"]

Desenho lógico

flowchart LR
  N0["1.1 Uma pergunta falseável"]
  N1["1.2 Por que as matrizes são contestadas"]
  N2["1.3 Regras de integridade"]
  N3["1.4 Concordância entre avaliadores"]
  N4["Laboratório — Concordância entre dois avaliadores da"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"]

[1.1 Uma pergunta falseável]
    |
    v
[1.2 Por que as matrizes são contestadas]
    |
    v
[1.3 Regras de integridade]
    |
    v
[1.4 Concordância entre avaliadores]
    |
    v
[Laboratório — Concordância entre dois avaliadores da]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX001]

Objetivos de aprendizagem

Você vai (1) formular uma pergunta falseável sobre como as organizações avaliam o risco cibernético; (2) definir regras de integridade para pesquisar dentro de uma organização regulada; (3) medir a concordância entre avaliadores que usam uma matriz de risco.

1.1 Uma pergunta falseável

Amara Lindgren é doutoranda na fictícia Halvard University, orientada pela Profa. Rosa Delgado. Sua parceira de pesquisa é o fictício Corvane Regional Health Board, que administra quatro hospitais e mantém um registro de riscos baseado numa matriz de risco cinco por cinco. Amara pergunta se substituir as classificações ordinais da matriz por estimativas quantitativas calibradas, no estilo do FAIR descrito por Freund e Jones (2015), leva a decisões de risco mais consistentes e mais bem calibradas. Ela registra de antemão que resultados mostrariam que sua ideia está errada: nenhum ganho de concordância, de calibração ou de qualidade de decisão.

1.2 Por que as matrizes são contestadas

Amara revisa os argumentos contra as matrizes de risco. Cox (2008) mostrou que as matrizes podem atribuir a mesma classificação a riscos com perdas esperadas muito diferentes e podem até colocar um risco menor acima de um maior, porque as faixas ordinais descartam informação. Hubbard e Seiersen (2016) argumentaram que o risco de cibersegurança pode ser medido com intervalos calibrados e simulações simples. As normas são mais neutras: a ISO/IEC 27005:2022 e o NIST SP 800-30r1 admitem abordagens qualitativas, semiquantitativas e quantitativas. A contribuição de Amara é, portanto, empírica: testar, dentro de uma organização, se a abordagem quantitativa funciona melhor na prática.

1.3 Regras de integridade

Pesquisar dentro de uma autoridade de saúde traz riscos: expor fraquezas reais, constranger gestores identificados e influenciar as próprias decisões estudadas. O protocolo de Amara, aprovado pelo comitê de ética da Halvard e pelo comitê de governança da informação da Corvane, fixa regras. Todos os cenários publicados são composições sintéticas; nenhuma vulnerabilidade real nem dado de paciente sai da Corvane; os avaliadores participam voluntariamente e podem desistir; o desempenho individual nunca é informado aos gestores; e o plano de análise é pré-registrado antes da coleta. Ela também declara não ter interesse financeiro em nenhum produto de quantificação de risco.

1.4 Concordância entre avaliadores

Antes de comparar métodos, Amara mede com que consistência os avaliadores da Corvane usam a matriz atual. Dois avaliadores experientes classificam, de forma independente, quarenta riscos sintéticos nas faixas Baixo, Médio e Alto. O laboratório calcula a concordância observada e o kappa de Cohen, que desconta a concordância esperada por acaso. O kappa é 0,19, o que Landis e Koch (1977) chamariam de concordância leve. Amara trata isso como um problema de linha de base, e não como crítica aos avaliadores: se dois especialistas discordam com frequência sobre o mesmo risco, as prioridades do registro podem depender mais de quem classificou o risco do que do próprio risco.

Laboratório — Concordância entre dois avaliadores da matriz

# Agreement between two assessors rating 40 synthetic risks on a 5x5 matrix (High/Medium/Low bands).
import random
r = random.Random(11)
bands = ["Low", "Medium", "High"]
truth = [r.choice(bands) for _ in range(40)]
def rate(t):
    if r.random() < 0.62: return t
    return r.choice([b for b in bands if b != t])
a = [rate(t) for t in truth]; b = [rate(t) for t in truth]
po = sum(x == y for x, y in zip(a, b)) / 40
pe = sum((a.count(k) / 40) * (b.count(k) / 40) for k in bands)
print(f"observed agreement {po:.2f}; chance {pe:.2f}; kappa {(po - pe) / (1 - pe):.2f}")

Execute com python3 lab_kappa.py. Saída verificada:

observed agreement 0.47; chance 0.35; kappa 0.19

Exemplo resolvido

Amara formula uma comparação falseável entre matrizes e estimativas quantitativas, define regras de integridade para pesquisar numa autoridade de saúde e mede uma linha de base de concordância da matriz com kappa de 0,19.

Caso sintético. A Halvard, a Corvane e todas as pessoas são sintéticas; Freund e Jones (2015), Cox (2008), Hubbard e Seiersen (2016), a ISO/IEC 27005:2022, o SP 800-30r1 e Landis e Koch (1977) são reais.

Erros e limites

O pré-registro não elimina todo viés. O kappa depende da frequência com que cada faixa aparece.

Exercícios

• EX001 — Plano falseável. O que torna falseável a pergunta de Amara?
  Mostrar critérios de avaliação

  Rubrica: 3 = ela declara de antemão que resultados mostrariam que sua ideia está errada;; 2 = declaração prévia;; 1 = vago;; 0 = nenhuma.
• EX002 — Crítica de Cox. O que Cox (2008) mostrou sobre as matrizes de risco?
  Mostrar critérios de avaliação

  Rubrica: 3 = classificações idênticas para riscos muito diferentes e possíveis inversões de ordem;; 2 = perda de informação;; 1 = vago;; 0 = nenhuma.
• EX003 — Neutralidade das normas. Que abordagens a ISO/IEC 27005:2022 e o SP 800-30r1 admitem?
  Mostrar critérios de avaliação

  Rubrica: 3 = qualitativa, semiquantitativa e quantitativa;; 2 = as três;; 1 = só quantitativa;; 0 = nenhuma.
• EX004 — Regra de publicação. O que pode aparecer nos cenários publicados?
  Mostrar critérios de avaliação

  Rubrica: 3 = apenas composições sintéticas;; 2 = sintéticos;; 1 = fraquezas reais;; 0 = nenhuma.
• EX005 — Declaração de interesses. O que Amara declara?
  Mostrar critérios de avaliação

  Rubrica: 3 = não ter interesse financeiro em produtos de quantificação de risco;; 2 = conflito;; 1 = vago;; 0 = nenhuma.
• EX006 — Kappa de base. Que kappa os dois avaliadores alcançaram?
  Mostrar critérios de avaliação

  Rubrica: 3 = 0,19, concordância leve;; 2 = 0,19;; 1 = 0,62;; 0 = nenhuma.
• EX007 — Sentido da linha de base. Por que a baixa concordância importa para o registro?
  Mostrar critérios de avaliação

  Rubrica: 3 = as prioridades podem depender de quem classificou o risco;; 2 = efeito do avaliador;; 1 = vago;; 0 = nenhuma.

Síntese

A pesquisa de doutorado em GRC começa com uma pergunta falseável, regras de integridade rigorosas e uma linha de base medida.