Capítulo 38 — Governança, riscos e compliance de segurança: validação

Mapa da aula

Aula 38 publicada. Mapa, exemplo, EX112.

flowchart TD
  N0["38.1 Verificação e validação"]
  N1["38.2 Tamanhos de amostra"]
  N2["38.3 Conclusões"]
  N3["Síntese"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX112"]

Desenho lógico

flowchart LR
  N0["38.1 Verificação e validação"]
  N1["38.2 Tamanhos de amostra"]
  N2["38.3 Conclusões"]
  N3["Síntese"]
  N0 --> N1 --> N2 --> N3 --> Q["EX112"]

[38.1 Verificação e validação]
    |
    v
[38.2 Tamanhos de amostra]
    |
    v
[38.3 Conclusões]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX112]

Objetivos de aprendizagem

Você vai (1) distinguir verificação de validação; (2) usar a amostragem por atributos para validar a operação dos controles; (3) escolher tamanhos de amostra que sustentem as conclusões.

38.1 Verificação e validação

A verificação pergunta se um controle foi construído conforme especificado; a validação pergunta se ele atinge seu propósito na operação real ao longo do tempo. Nadia verificou o broker no laboratório. Agora precisa validar que o controle operou com eficácia ao longo de um ano, como auditores internos e auditores de serviços examinam a eficácia operacional. Os trust services criteria da AICPA, usados nos relatórios SOC 2, distinguem a eficácia do desenho da eficácia operacional no mesmo espírito, embora o trabalho dela seja interno e não uma atestação. Os testes de laboratório verificaram o desenho; um ano de operação mostra se a aprovação e a gravação aconteceram na prática.

38.2 Tamanhos de amostra

Conferir todas as sessões de fornecedores é inviável, então Nadia amostra os registros de sessão e conta os desvios, como uma sessão sem aprovação. O laboratório calcula limites superiores exatos de noventa e cinco por cento. Vinte e cinco registros limpos dão um limite de cerca de onze por cento. Quarenta registros limpos dão cerca de sete por cento. Quarenta registros com um desvio dão cerca de onze por cento. Cinquenta e nove registros limpos dão exatamente cinco por cento. Se a taxa tolerável de desvio da Ardwell é de cinco por cento, ela precisa de pelo menos cinquenta e nove registros sem desvios. Um único desvio em quarenta muda bruscamente a conclusão.

Laboratório — Limites superiores exatos para amostras de registros de sessão

"""Exact upper 95% bound on deviation rate for attribute samples (stdlib)."""
from math import comb
def cdf(k, n, p): return sum(comb(n, i)*p**i*(1-p)**(n-i) for i in range(k+1))
def upper(k, n):
    lo, hi = 0.0, 1.0
    for _ in range(60):
        m = (lo+hi)/2
        lo, hi = (m, hi) if cdf(k, n, m) > 0.05 else (lo, m)
    return hi
for n, k in [(25, 0), (40, 0), (40, 1), (59, 0)]:
    print(f"n={n} deviations={k}: upper bound {upper(k, n):.3f}")

Execute com python3 lab_sample.py. Saída verificada:

n=25 deviations=0: upper bound 0.113
n=40 deviations=0: upper bound 0.072
n=40 deviations=1: upper bound 0.113
n=59 deviations=0: upper bound 0.050

38.3 Conclusões

Nadia sorteia cinquenta e nove sessões ao longo do ano e não encontra desvios, então conclui, com noventa e cinco por cento de confiança, que a taxa de desvio é de no máximo cinco por cento. Ela observa que a conclusão cobre só a aprovação, e não se os fornecedores fizeram o trabalho certo. Também confere as sessões emergenciais separadamente, porque elas seguem outro caminho de aprovação e seus problemas poderiam se diluir numa amostra geral. O Prof. Brenner lembra à turma que a amostragem sustenta afirmações com limites, nunca certezas, e que cada estrato com caminho próprio merece sua própria amostra.

Exemplo resolvido

Nadia separa verificação de validação, constata que são precisos cinquenta e nove registros limpos para um limite de cinco por cento e valida as aprovações.

Caso sintético. Os dados das sessões são sintéticos; os TSC da AICPA são reais; isto não é uma atestação.

Erros e limites

Amostras aleatórias deixam escapar padrões raros. A validação cobre só os atributos testados.

Exercícios

• EX112 — Sentido da validação. O que a validação pergunta que a verificação não pergunta?
  Mostrar critérios de avaliação

  Rubrica: 3 = se o controle atinge seu propósito na operação ao longo do tempo;; 2 = operação;; 1 = vago;; 0 = nenhuma.
• EX113 — Amostra mínima. Quantos registros limpos dão um limite superior de 5%?
  Mostrar critérios de avaliação

  Rubrica: 3 = cinquenta e nove;; 2 = 59;; 1 = 25;; 0 = nenhuma.
• EX114 — Estrato separado. Por que conferir separadamente as sessões emergenciais?
  Mostrar critérios de avaliação

  Rubrica: 3 = seguem outro caminho e poderiam esconder problemas;; 2 = estratos;; 1 = vago;; 0 = nenhuma.

Síntese

A validação usa amostras dimensionadas para fazer afirmações delimitadas sobre os controles na operação real.