Capítulo 23 — Arquitetura e engenharia de segurança: avaliação

Capítulo 23 — Arquitetura e engenharia de segurança: avaliação

Mapa da aula

Aula 23 publicada. Mapa, exemplo, EX067.

flowchart TD
  N0["23.1 Funcionou?"]
  N1["23.2 Antes e depois"]
  N2["Síntese"]
  N0 --> N1 --> N2
  N2 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX067"]

Desenho lógico

flowchart LR
  N0["23.1 Funcionou?"]
  N1["23.2 Antes e depois"]
  N2["Síntese"]
  N0 --> N1 --> N2 --> Q["EX067"]

[23.1 Funcionou?]
    |
    v
[23.2 Antes e depois]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX067]

Objetivos de aprendizagem

Você vai (1) avaliar se os controles atingiram seus objetivos; (2) comparar números de antes e depois; (3) relatar os limites da avaliação.

23.1 Funcionou?

Seis meses depois do início do estágio, Sam pergunta se as mudanças fizeram diferença. Tomás volta às medidas de saúde do capítulo 9 e aos cenários de risco do capítulo 13. Para cada controle, ele pergunta: foi implementado, está operando e o risco mudou? Ele usa evidências, e não impressões. O portal de upload agora recebe noventa por cento dos manifestos; as planilhas por e-mail caíram para um punhado, vindo de varejistas muito pequenos. A verificação de manifestos sinalizou dois uploads suspeitos, ambos confirmados pelos varejistas como tentativas de fraude.

23.2 Antes e depois

Tomás compara os números. Os dispositivos atualizados em até trinta dias subiram de quarenta e oito para oitenta e cinco por cento. A média de dias para desativar desligados caiu de quatro para um. As regras de entrada vindas da internet caíram de duas para zero. Os dispositivos sem responsável caíram de três para zero. Ele apresenta cada número com sua fonte e observa que parte da melhoria pode vir de outras causas, como o fornecedor ter lançado uma ferramenta de atualização dos coletores mais fácil. Números de antes e depois são persuasivos, mas não provam, por si sós, qual mudança causou a melhoria.

23.3 Limites

Tomás lista o que a avaliação não consegue mostrar. A ausência de incidentes graves em seis meses pode refletir tanto a sorte quanto os controles. Duas tentativas de fraude detectadas não revelam quantas passaram. O comportamento da equipe pode escorregar depois que o estágio terminar. Ele recomenda continuar as medições todo mês e repetir a avaliação em um ano. Ruth elogia a honestidade, observando que uma avaliação que admite seus limites é mais útil aos gestores do que uma que alega sucesso completo, porque lhes diz o que continuar observando.

Exemplo resolvido

Tomás avalia os controles com medidas de antes e depois, registra duas tentativas de fraude detectadas e lista os limites do que a avaliação mostra.

Caso sintético. Os números são sintéticos.

Erros e limites

A ausência de incidentes é uma evidência fraca. A atribuição da melhoria é incerta.

Exercícios

• EX067 — Parcela do portal. Que parcela dos manifestos usa agora o portal? Rubrica: 3 = noventa por cento;; 2 = 90%;; 1 = todos;; 0 = nenhuma.

• EX068 — Melhoria das atualizações. Como mudou a parcela de atualizações em trinta dias? Rubrica: 3 = de 48 para 85 por cento;; 2 = subiu;; 1 = vago;; 0 = nenhuma.

• EX069 — Nenhum incidente. Por que a ausência de incidentes graves é uma evidência fraca? Rubrica: 3 = pode refletir tanto a sorte quanto os controles;; 2 = sorte;; 1 = vago;; 0 = nenhuma.

Síntese

Uma avaliação honesta compara os resultados medidos e declara claramente o que as evidências não conseguem provar.

Continue estudando — aula 23 (capítulo 23 de 30)

← Capítulo 22 · Índice das aulas · Capítulo 24 →

Continue para a próxima aula já escrita.