Capítulo 6 — Crítica por pares e revisão | Pesquisa doutoral Governança de segurança, risco e conformidade

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Receber a crítica"]
  N1["6.2 Classificar as objeções"]
  N2["6.3 Revisar as análises"]
  N3["6.4 Aprender com a crítica"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Receber a crítica"]
  N1["6.2 Classificar as objeções"]
  N2["6.3 Revisar as análises"]
  N3["6.4 Aprender com a crítica"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX033"]

[6.1 Receber a crítica]
    |
    v
[6.2 Classificar as objeções]
    |
    v
[6.3 Revisar as análises]
    |
    v
[6.4 Aprender com a crítica]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) responder à crítica de especialistas a um estudo quantitativo de risco; (2) separar objeções metodológicas de objeções filosóficas; (3) revisar afirmações e análises.

6.1 Receber a crítica

Amara apresenta os resultados num workshop de doutorado e submete um rascunho de artigo. Os revisores levantam quatro pontos. Uma gestora de riscos argumenta que os conselhos entendem as matrizes e podem se desinteressar diante de intervalos de probabilidade. Um estatístico observa que trinta eventos são poucos para afirmações confiantes sobre calibração. Uma auditora pergunta como as estimativas quantitativas seriam evidenciadas para a certificação ISO/IEC 27001:2022. Um filósofo da ciência questiona se é possível estimar de forma significativa as magnitudes de perda de eventos cibernéticos raros. Amara registra cada ponto e sua origem antes de responder.

6.2 Classificar as objeções

Amara classifica a crítica. O ponto do estatístico é metodológico e pode ser tratado com mais dados ou com afirmações mais cautelosas. O ponto da auditora é prático: a ISO/IEC 27001:2022 exige um processo de avaliação de riscos documentado e repetível, que um método quantitativo pode atender se suas entradas e seu raciocínio forem registrados. O ponto sobre o engajamento do conselho é uma questão empírica que ela pode testar em parte. A objeção filosófica sobre eventos raros não pode ser resolvida por seus dados, então ela a reconhece como limite de toda avaliação de riscos, por matriz ou quantitativa.

6.3 Revisar as análises

Amara revisa. Acrescenta um intervalo bootstrap para a diferença de Brier, que inclui o zero, e troca a formulação "melhora a calibração" por "mostra uma melhora pequena e incerta". Acrescenta um estudo curto com o conselho da Corvane, apresentando os mesmos riscos dos dois modos, e registra qual apresentação os conselheiros acharam mais útil para decidir. A maioria preferiu os gráficos de excedência de perda depois de explicados, embora dois tenham preferido a matriz. Ela acrescenta um apêndice que descreve como os registros quantitativos se encaixam no processo documentado esperado pela ISO/IEC 27001:2022.

6.4 Aprender com a crítica

A Profa. Delgado observa que uma boa crítica afia a tese ao forçar afirmações precisas. Amara reflete que seu entusiasmo inicial pela quantificação a levou a subestimar o papel social das matrizes na comunicação e na governança. Agora ela enquadra sua contribuição como evidência sobre trade-offs, e não como veredito de que um método é superior. Essa mudança torna o trabalho mais útil para os profissionais, que precisam equilibrar precisão, custo, explicabilidade e expectativas de auditoria, e mais defensável diante dos examinadores. Ela agradece a cada revisor e lista todas as mudanças numa tabela de respostas, por transparência.

Exemplo resolvido

Amara classifica quatro críticas, acrescenta um intervalo bootstrap que inclui o zero, testa a apresentação ao conselho e reenquadra sua contribuição como evidência sobre trade-offs.

Caso sintético. As críticas e os resultados são sintéticos; a ISO/IEC 27001:2022 é real.

Erros e limites

Estudos com conselhos são pequenos. O reenquadramento pode enfraquecer demais as afirmações.

Exercícios

EX033 — Ponto do estatístico. A que o estatístico objetou?
Mostrar critérios de avaliação
Rubrica: 3 = trinta eventos são poucos;; 2 = tamanho da amostra;; 1 = vago;; 0 = nenhuma.
EX034 — Resposta à auditora. Como os métodos quantitativos podem atender às expectativas da ISO/IEC 27001:2022?
Mostrar critérios de avaliação
Rubrica: 3 = registrando entradas e raciocínio num processo repetível;; 2 = documentação;; 1 = vago;; 0 = nenhuma.
EX035 — Objeção sem solução. Que objeção os dados de Amara não conseguem resolver?
Mostrar critérios de avaliação
Rubrica: 3 = se as perdas de eventos raros podem ser estimadas de forma significativa;; 2 = filosófica;; 1 = vago;; 0 = nenhuma.
EX036 — Resultado do bootstrap. O que mostrou o intervalo bootstrap para a diferença de Brier?
Mostrar critérios de avaliação
Rubrica: 3 = que ele inclui o zero;; 2 = incerto;; 1 = significativo;; 0 = nenhuma.
EX037 — Preferência do conselho. Que apresentação a maioria dos conselheiros preferiu?
Mostrar critérios de avaliação
Rubrica: 3 = gráficos de excedência de perda depois de explicados;; 2 = excedência;; 1 = matriz;; 0 = nenhuma.
EX038 — Contribuição reenquadrada. Como Amara reenquadrou sua contribuição?
Mostrar critérios de avaliação
Rubrica: 3 = evidência sobre trade-offs, não um veredito;; 2 = trade-offs;; 1 = superioridade;; 0 = nenhuma.

Síntese

A crítica ordenada por tipo leva a afirmações mais precisas e a uma contribuição mais útil.