OpenCyber Academy
Engenharia · Capítulo 38 · Português
Código do curso: OCA-121Capítulo 38: OCA-121-C038

Capítulo 38 — Fatores humanos e política cibernética: validação

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 38 publicada. Mapa, exemplo, EX112.

flowchart TD
  N0["38.1 Validação versus verificação"]
  N1["38.2 Validar os resultados"]
  N2["Laboratório — Resultados de reportes antes e depois"]
  N3["38.3 Evidências mistas"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX112"]

Desenho lógico

flowchart LR
  N0["38.1 Validação versus verificação"]
  N1["38.2 Validar os resultados"]
  N2["Laboratório — Resultados de reportes antes e depois"]
  N3["38.3 Evidências mistas"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX112"]

[38.1 Validação versus verificação]
    |
    v
[38.2 Validar os resultados]
    |
    v
[Laboratório — Resultados de reportes antes e depois]
    |
    v
[38.3 Evidências mistas]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX112]

Objetivos de aprendizagem

Você vai (1) distinguir validação de verificação; (2) validar o programa em relação à sua finalidade; (3) usar evidências mistas para julgar o sucesso.

38.1 Validação versus verificação

A verificação pergunta se o sistema foi construído conforme especificado; a validação pergunta se ele cumpre sua finalidade. O serviço de reportes da Greyford passou na verificação do capítulo 30, mas Aiko agora precisa perguntar se ele de fato reduz os danos causados pelo engano. Um serviço pode atender a todos os requisitos e ainda falhar em sua finalidade se, por exemplo, os funcionários reportarem apenas e-mails inofensivos enquanto os ataques passam sem reporte. Por isso, a validação olha para os resultados na operação real, e não em condições de teste, e precisa de evidências coletadas ao longo de meses, e não de dias. As duas são necessárias, nessa ordem.

38.2 Validar os resultados

Depois de nove meses, Aiko compara os resultados com o ano anterior ao lançamento. O laboratório calcula a mudança na mediana do tempo até o primeiro reporte e na proporção de e-mails maliciosos reportados. A proporção reportada sobe e a mediana do tempo cai. Ela também confere as tentativas de fraude de pagamento: três falsas mudanças de dados bancários foram barradas pelo controle de bloqueio, contra uma perda no ano anterior. Ela observa que a comparação antes e depois não pode descartar mudanças nos ataques, por isso apresenta os achados como compatíveis com o sucesso, e não como prova dele.

Laboratório — Resultados de reportes antes e depois

# Before and after reporting outcomes for malicious emails (synthetic).
before = {"reported": 41, "total": 100, "times": [12, 20, 25, 30, 38, 45, 60, 75, 90]}
after = {"reported": 78, "total": 100, "times": [3, 4, 6, 8, 9, 11, 14, 18, 25]}
for name, d in (("before", before), ("after", after)):
    t = sorted(d["times"]); print(f"{name}: reported share {d['reported'] / d['total']:.0%}, median first report {t[len(t) // 2]} min")

Execute com python3 lab_validate.py. Saída verificada:

before: reported share 41%, median first report 38 min
after: reported share 78%, median first report 9 min

38.3 Evidências mistas

Aiko acrescenta evidências qualitativas: entrevistas com dez funcionários, o questionário de ônus e o log de reclamações. Os funcionários descrevem o botão de reporte como fácil e o retorno como tranquilizador, embora alguns ainda não gostem das simulações. As pontuações de ônus melhoram ligeiramente. Juntas, as evidências sustentam a continuidade do programa com ajustes. Ela segue a orientação de Beautement, Sasse e Wonham (2008) de observar os efeitos sobre o orçamento de compliance e descobre que o bloqueio de pagamento acrescenta trabalho no fim do mês, o que leva a uma revisão do quadro de pessoal do setor financeiro nesse período. As anotações das entrevistas são anonimizadas antes da análise.

Exemplo resolvido

Aiko valida o programa com resultados antes e depois, tentativas de fraude barradas e entrevistas, tratando os resultados como compatíveis com o sucesso, e não como prova.

Caso sintético. Os resultados são sintéticos; Beautement et al. (2008) é real.

Erros e limites

Desenhos antes e depois são fracos. Os padrões de ataque mudam de um ano para outro.

Exercícios

Síntese

A validação testa o propósito na operação real, com evidências mistas e afirmações cautelosas.

Respostas comentadas

EX112. Se o sistema cumpre sua finalidade na operação real.

EX113. A mediana do tempo caiu de 38 para 9 minutos, e a proporção reportada subiu de 41% para 78%.

EX114. O bloqueio de pagamento acrescenta trabalho ao setor financeiro no fim do mês.