Capítulo 15 — Evidências e medição

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX043.

flowchart TD
  N0["15.1 Escolher as medidas"]
  N1["15.2 Dados assimétricos"]
  N2["Laboratório — Dias até o patch: mediana e proporção"]
  N3["15.3 Apresentação honesta"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX043"]

Desenho lógico

flowchart LR
  N0["15.1 Escolher as medidas"]
  N1["15.2 Dados assimétricos"]
  N2["Laboratório — Dias até o patch: mediana e proporção"]
  N3["15.3 Apresentação honesta"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX043"]

[15.1 Escolher as medidas]
    |
    v
[15.2 Dados assimétricos]
    |
    v
[Laboratório — Dias até o patch: mediana e proporção]
    |
    v
[15.3 Apresentação honesta]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX043]

Objetivos de aprendizagem

Você vai (1) escolher medidas que reflitam o desempenho dos controles; (2) usar medianas e limiares para dados assimétricos; (3) apresentar as medidas com honestidade.

15.1 Escolher as medidas

A Elmfield quer saber se seu processo de atualização funciona. Sofia escolhe duas medidas: a mediana de dias para aplicar as atualizações críticas e a proporção aplicada dentro da meta de trinta dias. Ela aprende que as medidas devem se relacionar ao propósito do controle, que é encurtar o tempo em que as vulnerabilidades ficam abertas. Contar as atualizações instaladas seria uma medida de atividade; o tempo até a instalação é uma medida de desempenho, mais próxima do que importa para o risco. Dez de quinze atualizações em até trinta dias é um número de desempenho; quinze atualizações instaladas mostraria só atividade.

15.2 Dados assimétricos

O laboratório examina quinze atualizações críticas. A mediana é de vinte e um dias, e dez de quinze, sessenta e sete por cento, foram aplicadas em até trinta dias. As três mais lentas levaram quarenta e oito, sessenta e dois e noventa dias. Sofia observa que a média seria puxada para cima por esses atrasos longos, então a mediana descreve melhor uma atualização típica, enquanto os casos mais lentos merecem atenção separada. A maioria das atualizações lentas afetava o servidor de arquivos, que os funcionários evitam reiniciar no horário de trabalho, um padrão que liga os números a uma causa que uma janela de manutenção pode resolver.

Laboratório — Dias até o patch: mediana e proporção dentro da meta

"""Days to patch for 15 synthetic critical updates: median and share within 30 days."""
from statistics import median
days = [3, 5, 7, 8, 12, 14, 15, 21, 25, 29, 33, 41, 48, 62, 90]
print(f"updates {len(days)}; median {median(days)} days")
w = sum(d <= 30 for d in days); print(f"within 30 days {w}/{len(days)} = {w/len(days):.0%}")
print(f"slowest three {days[-3:]}")

Execute com python3 lab_patch.py. Saída verificada:

updates 15; median 21 days
within 30 days 10/15 = 67%
slowest three [48, 62, 90]

15.3 Apresentação honesta

Sofia apresenta as duas medidas com a lista das atualizações lentas e sua causa. Evita dizer que a maioria das atualizações está no prazo sem acrescentar que um terço não está. Recomenda uma janela mensal de manutenção para o servidor de arquivos. O Dr. Haddad observa que o NIST SP 800-55v1 discute a seleção e o uso de medidas de segurança da informação, e que boas medidas provocam decisões em vez de enfeitar relatórios; a medida de Sofia leva diretamente à decisão da janela de manutenção. Mostrar as atualizações lentas pelo nome permite ao líder de TI agir sobre o servidor, e não sobre os notebooks em geral.

Exemplo resolvido

Sofia mede uma mediana de vinte e um dias, com sessenta e sete por cento dentro da meta, e rastreia as atualizações lentas até o servidor de arquivos.

Caso sintético. Os dados de atualização são sintéticos; o NIST SP 800-55v1 é real.

Erros e limites

Amostras pequenas variam. As medianas escondem os casos mais lentos.

Exercícios

• EX043 — Medida de desempenho. Por que o tempo até a instalação é melhor medida do que as atualizações instaladas?
  Mostrar critérios de avaliação

  Rubrica: 3 = relaciona-se a quanto tempo as vulnerabilidades ficam abertas;; 2 = desempenho;; 1 = atividade;; 0 = nenhuma.
• EX044 — Resultados de patch. Que mediana e que proporção na meta o laboratório relatou?
  Mostrar critérios de avaliação

  Rubrica: 3 = 21 dias, 67%;; 2 = mediana 21;; 1 = vago;; 0 = nenhuma.
• EX045 — Causa da lentidão. Por que as atualizações mais lentas atrasaram?
  Mostrar critérios de avaliação

  Rubrica: 3 = o servidor de arquivos não era reiniciado no horário de trabalho;; 2 = servidor;; 1 = vago;; 0 = nenhuma.

Síntese

Boas medidas refletem o propósito, lidam com a assimetria e levam a decisões.