Capítulo 29 — Arquitetura e engenharia de segurança: medição
Mapa da aula
Aula 29 publicada. Mapa, exemplo, EX085.
flowchart TD
N0["29.2 Calcular as métricas"]
N1["Laboratório — Tempestividade da revogação e cobertur"]
N2["29.3 Métricas que enganam"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3
N3 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX085"]
Desenho lógico
flowchart LR
N0["29.2 Calcular as métricas"]
N1["Laboratório — Tempestividade da revogação e cobertur"]
N2["29.3 Métricas que enganam"]
N3["Síntese"]
N0 --> N1 --> N2 --> N3 --> Q["EX085"]
[29.2 Calcular as métricas]
|
v
[Laboratório — Tempestividade da revogação e cobertur]
|
v
[29.3 Métricas que enganam]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX085]
Objetivos de aprendizagem
Você vai (1) definir métricas de segurança ligadas aos objetivos da arquitetura; (2) calcular métricas de cobertura e de tempestividade a partir de dados sintéticos; (3) evitar métricas que recompensem o comportamento errado.
29.1 Métricas ligadas a objetivos
Daniel pede que Sofia proponha métricas para a arquitetura do back-office. Ela parte dos objetivos: tabelas de tarifas autênticas, revogação tempestiva dos dispositivos desativados, dados pessoais protegidos e recuperação rápida. Para cada um, define uma ou duas métricas: porcentagem de cargas de tarifas com assinatura verificada; mediana de dias entre a desativação do dispositivo e a revogação do certificado; porcentagem de repositórios de dados pessoais com criptografia e registro de acesso ativados; e tempo para restaurar a ingestão nos testes de recuperação. Cada métrica tem definição, fonte de dados, meta e responsável. Métricas sem objetivos tendem a medir o que é fácil, e não o que importa.
29.2 Calcular as métricas
Sofia escreve um script que lê registros sintéticos de desativações e revogações de dispositivos e de configurações dos repositórios de dados, e calcula as métricas. O laboratório abaixo mostra que a tempestividade da revogação é ruim, com uma cauda longa de dispositivos revogados semanas depois da desativação e alguns nunca revogados, enquanto a cobertura de criptografia é alta. Ela apresenta as contagens e os denominadores junto com as porcentagens. Os números priorizam o trabalho imediatamente: é o processo de revogação, e não a criptografia, que precisa de atenção. A medição transforma a ameaça encontrada no capítulo 23 numa melhoria acompanhada, com uma linha de base.
Laboratório — Tempestividade da revogação e cobertura
# Synthetic device retirement/revocation records and data-store configs.
import statistics
delays = [1, 2, 2, 3, 4, 5, 6, 7, 8, 9, 9, 12, 15, 21, 28, 35, 44, None, None, None] # None = never revoked
done = [d for d in delays if d is not None]
print(f"retired devices: {len(delays)}, revoked: {len(done)}, never revoked: {delays.count(None)}")
print(f"median days to revoke (revoked only): {statistics.median(done)}")
print(f"revoked within 7 days: {sum(d <= 7 for d in done)}/{len(delays)}")
stores = {"journeys": (True, True), "refunds": (True, True), "staff": (True, False), "reports": (True, True), "archive": (True, True)}
cov = sum(e and l for e, l in stores.values())
print(f"personal-data stores encrypted+logged: {cov}/{len(stores)}")
Execute com python3 lab_metrics.py. Saída verificada:
retired devices: 20, revoked: 17, never revoked: 3
median days to revoke (revoked only): 8
revoked within 7 days: 8/20
personal-data stores encrypted+logged: 4/5
29.3 Métricas que enganam
As métricas moldam o comportamento. Se a equipe é recompensada por fechar rapidamente os tickets de vulnerabilidade, pode fechá-los sem verificação. Se a métrica é o número de controles implementados, pode implementar controles fáceis em vez de importantes. Sofia propõe métricas em pares: velocidade de fechamento com taxa de reabertura; contagem de controles com cobertura dos riscos de alta prioridade. Ela também alerta contra relatar uma métrica sem seu denominador ou sua tendência. Anderson (2020) discute como as métricas de segurança podem ser manipuladas. Boas métricas são poucas, ligadas aos objetivos e revistas para ver se ainda induzem o comportamento pretendido.
Exemplo resolvido
Sofia define cinco métricas ligadas a objetivos, calcula a tempestividade da revogação e a cobertura de criptografia a partir de dados sintéticos e combina métricas em pares para resistir à manipulação.
Caso sintético. Os dados das métricas são sintéticos; Anderson (2020) é real.
Erros e limites
As métricas medem indicadores indiretos, não a segurança em si. Denominadores pequenos tornam as porcentagens instáveis.
Exercícios
-
EX085 — Métrica ligada a objetivo. Dê uma métrica para o objetivo de revogação tempestiva dos dispositivos desativados. Rubrica: 3 = mediana de dias entre a desativação e a revogação;; 2 = métrica;; 1 = contagem de dispositivos;; 0 = nenhuma.
-
EX086 — Resultado da revogação no laboratório. O que o laboratório mostrou sobre a tempestividade da revogação? Rubrica: 3 = mediana de 8 dias entre os revogados, 3 de 20 nunca revogados, só 8 de 20 em até uma semana;; 2 = os dois;; 1 = boa;; 0 = nenhuma.
-
EX087 — Métrica em par. Que métrica deve acompanhar a velocidade de fechamento de tickets? Rubrica: 3 = a taxa de reabertura;; 2 = reabertura;; 1 = vago;; 0 = nenhuma.
Síntese
As métricas de segurança devem seguir os objetivos, mostrar os denominadores e vir em pares, para recompensar a melhoria real.
Continue estudando — aula 29 (capítulo 29 de 50)
← Capítulo 28 · Índice das aulas · Capítulo 30 →
Continue para a próxima aula já escrita.