Capítulo 6 — Governança, riscos e compliance de segurança: avaliação controlada
Mapa da aula
Aula 06 publicada. Mapa, exemplo, EX026.
flowchart TD
N0["6.1 Desenho"]
N1["6.2 Rapidez"]
N2["Laboratório — Teste de permutação sobre a duração da"]
N3["6.3 Profundidade"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX026"]
Desenho lógico
flowchart LR
N0["6.1 Desenho"]
N1["6.2 Rapidez"]
N2["Laboratório — Teste de permutação sobre a duração da"]
N3["6.3 Profundidade"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX026"]
[6.1 Desenho]
|
v
[6.2 Rapidez]
|
v
[Laboratório — Teste de permutação sobre a duração da]
|
v
[6.3 Profundidade]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX026]
Objetivos de aprendizagem
Você vai (1) desenhar uma comparação controlada entre processos de governança; (2) testar uma diferença com um teste de permutação; (3) conferir a profundidade, além da rapidez.
6.1 Desenho
Daniel avalia os níveis em vinte revisões de fornecedores previstas. Com a concordância do comitê, dez são sorteadas para o questionário antigo e dez para o processo com níveis. O sorteio torna os grupos comparáveis em média, evitando o risco de os fornecedores mais fáceis caírem todos num grupo. O desfecho é o número de dias entre o pedido e a revisão concluída. Para conferir a profundidade, um revisor independente da auditoria interna pontua cada revisão concluída quanto a ter identificado os riscos-chave daquele fornecedor. Não dizer ao auditor que processo produziu cada revisão impede que as expectativas sobre os níveis contaminem as notas de profundidade.
6.2 Rapidez
O laboratório compara as médias de dias. O processo antigo teve média de trinta e nove vírgula três dias, e o processo com níveis, de vinte e seis vírgula cinco, uma diferença de doze vírgula oito dias. Um teste de permutação embaralha os vinte resultados cinco mil vezes para ver com que frequência o acaso sozinho produz uma diferença tão grande. O p-valor unilateral é de cerca de dois em dez mil, então o acaso é uma explicação improvável. Daniel relata a diferença com a ressalva de que dez revisões por grupo é uma amostra pequena: um único fornecedor muito lento poderia mover a média de um grupo em vários dias, e por isso a conferência de profundidade importa.
Laboratório — Teste de permutação sobre a duração das revisões
"""Permutation test: days to complete supplier reviews, old vs tiered process (synthetic)."""
import random
random.seed(5)
old = [34, 41, 29, 52, 38, 45, 31, 47, 40, 36]
new = [22, 30, 19, 35, 27, 24, 33, 21, 28, 26]
obs = sum(old)/10 - sum(new)/10
pool = old + new; hits = 0
for _ in range(5000):
random.shuffle(pool)
if sum(pool[:10])/10 - sum(pool[10:])/10 >= obs: hits += 1
print(f"mean old {sum(old)/10:.1f} days; tiered {sum(new)/10:.1f} days; difference {obs:.1f}")
print(f"one-sided permutation p = {hits/5000:.4f}")
Execute com python3 lab_perm.py. Saída verificada:
mean old 39.3 days; tiered 26.5 days; difference 12.8
one-sided permutation p = 0.0002
6.3 Profundidade
A rapidez sozinha enganaria se as revisões ficassem mais rasas. O auditor interno, sem saber que processo foi usado, pontua a profundidade. Os dois grupos identificaram os riscos-chave na maioria das revisões, e o grupo com níveis se saiu um pouco melhor nos fornecedores de nível alto, porque os revisores leram as exceções dos relatórios SOC 2 em vez de passar os olhos pelos questionários. Daniel conclui que os níveis foram mais rápidos sem perda de profundidade nesta amostra. Recomenda a implantação com monitoramento contínuo das notas de profundidade no primeiro ano, para evitar que os revisores fiquem rasos quando a rapidez virar a meta visível.
Exemplo resolvido
Daniel sorteia vinte revisões, constata que os níveis são 12,8 dias mais rápidos, com p de permutação de 0,0002, e confirma a profundidade com pontuação cega.
Caso sintético. Os dados das revisões são sintéticos.
Erros e limites
Amostras pequenas. O cegamento pode ser imperfeito se os revisores reconhecerem os formatos.
Exercícios
- EX026 — Sorteio. Por que as revisões foram sorteadas? Rubrica: 3 = para tornar os grupos comparáveis em média;; 2 = comparabilidade;; 1 = vago;; 0 = nenhuma.
- EX027 — Durações médias. Quais foram as durações médias? Rubrica: 3 = antigo 39,3 dias, com níveis 26,5 dias;; 2 = diferença de 12,8;; 1 = vago;; 0 = nenhuma.
- EX028 — p da permutação. Que p-valor unilateral o teste de permutação deu? Rubrica: 3 = cerca de 0,0002;; 2 = 0,0002;; 1 = 0,05;; 0 = nenhuma.
- EX029 — Pontuação cega. Por que o auditor não soube que processo foi usado? Rubrica: 3 = para evitar viés nas notas de profundidade;; 2 = cegamento;; 1 = vago;; 0 = nenhuma.
- EX030 — Resultado de profundidade. Os níveis perderam profundidade? Rubrica: 3 = não, foram um pouco melhores nos de nível alto;; 2 = não;; 1 = sim;; 0 = nenhuma.
Síntese
Uma avaliação controlada, com verificações de profundidade às cegas, mostra se processos mais rápidos continuam minuciosos.
Continue estudando — aula 06 (capítulo 06 de 12)
← Capítulo 05 · Índice das aulas · Capítulo 07 →
Continue para a próxima aula já escrita.