## Capítulo 1 — Integridade e métodos avançados de pesquisa ### Mapa da aula Aula 01 publicada. Mapa, exemplo, EX001. ```mermaid flowchart TD N0["1.1 Uma pergunta falseável"] N1["1.2 Por que as matrizes são contestadas"] N2["1.3 Regras de integridade"] N3["1.4 Concordância entre avaliadores"] N4["Laboratório — Concordância entre dois avaliadores da"] N5["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 N5 --> EX["Exemplo resolvido"] EX --> Q["Exercício EX001"] ``` ### Desenho lógico ```mermaid flowchart LR N0["1.1 Uma pergunta falseável"] N1["1.2 Por que as matrizes são contestadas"] N2["1.3 Regras de integridade"] N3["1.4 Concordância entre avaliadores"] N4["Laboratório — Concordância entre dois avaliadores da"] N5["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX001"] ``` ```text [1.1 Uma pergunta falseável] | v [1.2 Por que as matrizes são contestadas] | v [1.3 Regras de integridade] | v [1.4 Concordância entre avaliadores] | v [Laboratório — Concordância entre dois avaliadores da] | v [Síntese] | v [Exemplo resolvido] --> [Exercício EX001] ``` ### Objetivos de aprendizagem Você vai (1) formular uma pergunta falseável sobre como as organizações avaliam o risco cibernético; (2) definir regras de integridade para pesquisar dentro de uma organização regulada; (3) medir a concordância entre avaliadores que usam uma matriz de risco. ### 1.1 Uma pergunta falseável Amara Lindgren é doutoranda na fictícia Halvard University, orientada pela Profa. Rosa Delgado. Sua parceira de pesquisa é o fictício Corvane Regional Health Board, que administra quatro hospitais e mantém um registro de riscos baseado numa matriz de risco cinco por cinco. Amara pergunta se substituir as classificações ordinais da matriz por estimativas quantitativas calibradas, no estilo do FAIR descrito por Freund e Jones (2015), leva a decisões de risco mais consistentes e mais bem calibradas. Ela registra de antemão que resultados mostrariam que sua ideia está errada: nenhum ganho de concordância, de calibração ou de qualidade de decisão. ### 1.2 Por que as matrizes são contestadas Amara revisa os argumentos contra as matrizes de risco. Cox (2008) mostrou que as matrizes podem atribuir a mesma classificação a riscos com perdas esperadas muito diferentes e podem até colocar um risco menor acima de um maior, porque as faixas ordinais descartam informação. Hubbard e Seiersen (2016) argumentaram que o risco de cibersegurança pode ser medido com intervalos calibrados e simulações simples. As normas são mais neutras: a ISO/IEC 27005:2022 e o NIST SP 800-30r1 admitem abordagens qualitativas, semiquantitativas e quantitativas. A contribuição de Amara é, portanto, empírica: testar, dentro de uma organização, se a abordagem quantitativa funciona melhor na prática. ### 1.3 Regras de integridade Pesquisar dentro de uma autoridade de saúde traz riscos: expor fraquezas reais, constranger gestores identificados e influenciar as próprias decisões estudadas. O protocolo de Amara, aprovado pelo comitê de ética da Halvard e pelo comitê de governança da informação da Corvane, fixa regras. Todos os cenários publicados são composições sintéticas; nenhuma vulnerabilidade real nem dado de paciente sai da Corvane; os avaliadores participam voluntariamente e podem desistir; o desempenho individual nunca é informado aos gestores; e o plano de análise é pré-registrado antes da coleta. Ela também declara não ter interesse financeiro em nenhum produto de quantificação de risco. ### 1.4 Concordância entre avaliadores Antes de comparar métodos, Amara mede com que consistência os avaliadores da Corvane usam a matriz atual. Dois avaliadores experientes classificam, de forma independente, quarenta riscos sintéticos nas faixas Baixo, Médio e Alto. O laboratório calcula a concordância observada e o kappa de Cohen, que desconta a concordância esperada por acaso. O kappa é 0,19, o que Landis e Koch (1977) chamariam de concordância leve. Amara trata isso como um problema de linha de base, e não como crítica aos avaliadores: se dois especialistas discordam com frequência sobre o mesmo risco, as prioridades do registro podem depender mais de quem classificou o risco do que do próprio risco. ### Laboratório — Concordância entre dois avaliadores da matriz ```python # Agreement between two assessors rating 40 synthetic risks on a 5x5 matrix (High/Medium/Low bands). import random r = random.Random(11) bands = ["Low", "Medium", "High"] truth = [r.choice(bands) for _ in range(40)] def rate(t): if r.random() < 0.62: return t return r.choice([b for b in bands if b != t]) a = [rate(t) for t in truth]; b = [rate(t) for t in truth] po = sum(x == y for x, y in zip(a, b)) / 40 pe = sum((a.count(k) / 40) * (b.count(k) / 40) for k in bands) print(f"observed agreement {po:.2f}; chance {pe:.2f}; kappa {(po - pe) / (1 - pe):.2f}") ``` Execute com `python3 lab_kappa.py`. Saída verificada: ```text observed agreement 0.47; chance 0.35; kappa 0.19 ``` ### Exemplo resolvido Amara formula uma comparação falseável entre matrizes e estimativas quantitativas, define regras de integridade para pesquisar numa autoridade de saúde e mede uma linha de base de concordância da matriz com kappa de 0,19. > **Caso sintético.** A Halvard, a Corvane e todas as pessoas são sintéticas; Freund e Jones (2015), Cox (2008), Hubbard e Seiersen (2016), a ISO/IEC 27005:2022, o SP 800-30r1 e Landis e Koch (1977) são reais. ### Erros e limites O pré-registro não elimina todo viés. O kappa depende da frequência com que cada faixa aparece. ### Exercícios - **EX001 — Plano falseável.** O que torna falseável a pergunta de Amara? *Rubrica:* 3 = ela declara de antemão que resultados mostrariam que sua ideia está errada;; 2 = declaração prévia;; 1 = vago;; 0 = nenhuma. - **EX002 — Crítica de Cox.** O que Cox (2008) mostrou sobre as matrizes de risco? *Rubrica:* 3 = classificações idênticas para riscos muito diferentes e possíveis inversões de ordem;; 2 = perda de informação;; 1 = vago;; 0 = nenhuma. - **EX003 — Neutralidade das normas.** Que abordagens a ISO/IEC 27005:2022 e o SP 800-30r1 admitem? *Rubrica:* 3 = qualitativa, semiquantitativa e quantitativa;; 2 = as três;; 1 = só quantitativa;; 0 = nenhuma. - **EX004 — Regra de publicação.** O que pode aparecer nos cenários publicados? *Rubrica:* 3 = apenas composições sintéticas;; 2 = sintéticos;; 1 = fraquezas reais;; 0 = nenhuma. - **EX005 — Declaração de interesses.** O que Amara declara? *Rubrica:* 3 = não ter interesse financeiro em produtos de quantificação de risco;; 2 = conflito;; 1 = vago;; 0 = nenhuma. - **EX006 — Kappa de base.** Que kappa os dois avaliadores alcançaram? *Rubrica:* 3 = 0,19, concordância leve;; 2 = 0,19;; 1 = 0,62;; 0 = nenhuma. - **EX007 — Sentido da linha de base.** Por que a baixa concordância importa para o registro? *Rubrica:* 3 = as prioridades podem depender de quem classificou o risco;; 2 = efeito do avaliador;; 1 = vago;; 0 = nenhuma. ### Síntese A pesquisa de doutorado em GRC começa com uma pergunta falseável, regras de integridade rigorosas e uma linha de base medida. ### Continue estudando — aula 01 (capítulo 01 de 08) [← Início do curso](../../README.md) · [Índice das aulas](../SUBJECTS.md) · [Capítulo 02 →](#ch-02) Continue para a próxima aula já escrita. ## Worked answers **EX001.** Ela registra de antemão que nenhum ganho de concordância, de calibração ou de qualidade de decisão contaria contra sua ideia. **EX002.** Que as matrizes podem dar a mesma classificação a riscos com perdas esperadas muito diferentes e podem até inverter sua ordem. **EX003.** Abordagens qualitativas, semiquantitativas e quantitativas. **EX004.** Apenas composições sintéticas de cenários, nunca vulnerabilidades reais ou dados de pacientes. **EX005.** Que não tem interesse financeiro em nenhum produto de quantificação de risco. **EX006.** 0,19, o que Landis e Koch chamariam de concordância leve. **EX007.** Porque as prioridades podem depender mais de qual avaliador classificou o risco do que do próprio risco.