Capítulo 9 — Evidências e medição

Mapa da aula

Aula 09 publicada. Mapa, exemplo, EX025.

flowchart TD
  N0["9.1 Métricas"]
  N1["9.2 Evidências"]
  N2["9.3 Linha de base"]
  N3["9.4 Relatórios"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX025"]

Desenho lógico

flowchart LR
  N0["9.1 Métricas"]
  N1["9.2 Evidências"]
  N2["9.3 Linha de base"]
  N3["9.4 Relatórios"]
  N0 --> N1 --> N2 --> N3 --> Q["EX025"]

[9.1 Métricas]
    |
    v
[9.2 Evidências]
    |
    v
[9.3 Linha de base]
    |
    v
[9.4 Relatórios]
    |
    v
[Exemplo resolvido] --> [Exercício EX025]

Objetivos de aprendizagem

Você vai (1) escolher métricas de privacidade; (2) coletar evidências de forma confiável; (3) relatar os resultados.

9.1 Métricas

Aisha propõe quatro métricas: contas de ex-funcionários, cópias locais encontradas, pedidos de titulares respondidos no prazo e imagens de CFTV além do prazo de retenção. Cada uma tem uma definição e uma fonte de dados. Ela evita métricas fáceis de contar, mas que dizem pouco, como o número de políticas publicadas. Para cada métrica, escreve como é calculada, quem fornece os dados, com que frequência é medida e que valor seria preocupante. Por exemplo, qualquer conta de ex-funcionário ativa por mais de dois dias já é motivo de preocupação e gera uma ação imediata.

9.2 Evidências

Sempre que possível, Aisha coleta evidências por relatórios dos sistemas, e não por questionários, porque os relatórios são mais confiáveis. Um questionário pergunta aos gerentes se removeram os desligados, mas eles podem lembrar errado ou responder com otimismo; um relatório do sistema lista as contas diretamente. Quando só um questionário é possível, como na conscientização da equipe, ela o combina com um pequeno teste, como pedir a um funcionário que mostre onde fica o formulário de comunicação. Ela guarda as evidências com datas e registra como cada uma foi produzida, o que evita conclusões exageradas.

9.3 Linha de base

Aisha registra uma linha de base: quarenta contas esquecidas, três unidades com planilhas locais e uma situação desconhecida da retenção do CFTV, que ela trata como lacuna a medir, começando por uma unidade. Anota a data e o método de cada valor, porque uma mudança posterior de método poderia parecer uma melhoria. Registra também dois valores que espera ver subir no início, as comunicações de incidentes e os pedidos de acesso, explicando que uma conscientização maior pode fazer os números crescerem antes de os riscos caírem. Sem essa ressalva, a direção poderia ler a alta como piora.

9.4 Relatórios

Aisha reporta todo mês ao encarregado da Quayside. Cada relatório cabe numa página: uma tabela com o valor atual, o anterior e a linha de base de cada métrica, um comentário curto sobre cada mudança, uma lista de ações com responsáveis e as fontes dos dados. O encarregado o encaminha ao diretor de operações. Aisha guarda os relatórios numa pasta datada, para que as tendências possam ser revistas depois. O Sr. Reilly observa que medir desde o início é o que permite mostrar o progresso mais tarde, porque sem linha de base qualquer melhoria vira apenas uma afirmação sem prova.

Exemplo resolvido

Aisha define quatro métricas, prefere as evidências dos sistemas, registra uma linha de base que inclui os desconhecidos e reporta todo mês.

Caso sintético. As métricas são sintéticas.

Erros e limites

As métricas podem deixar escapar o que não é medido.

Exercícios

• EX025 — Fonte das evidências. Por que preferir relatórios dos sistemas a questionários?
  Mostrar critérios de avaliação

  Rubrica: 3 = são mais confiáveis;; 2 = menciona confiabilidade;; 1 = questionários;; 0 = nenhuma.
• EX026 — CFTV desconhecido. Como Aisha trata a situação desconhecida do CFTV?
  Mostrar critérios de avaliação

  Rubrica: 3 = como uma lacuna a medir;; 2 = menciona lacuna;; 1 = ignora;; 0 = nenhuma.
• EX027 — Valor da linha de base. Por que registrar uma linha de base?
  Mostrar critérios de avaliação

  Rubrica: 3 = para mostrar o progresso mais tarde;; 2 = menciona comparação;; 1 = vago;; 0 = nenhuma.