◇ OpenCyber Academy
Pós-graduação · Capítulo 6 · Português

Capítulo 6 — Criptografia e serviços de confiança: avaliação controlada

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 6 — Criptografia e serviços de confiança: avaliação controlada

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX026.

flowchart TD
  N0["6.1 Desenhar a avaliação"]
  N1["Laboratório — Avaliação pareada"]
  N2["6.2 Ler os resultados"]
  N3["6.3 Ameaças à conclusão"]
  N4["6.4 Da avaliação à decisão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX026"]

Desenho lógico

flowchart LR
  N0["6.1 Desenhar a avaliação"]
  N1["Laboratório — Avaliação pareada"]
  N2["6.2 Ler os resultados"]
  N3["6.3 Ameaças à conclusão"]
  N4["6.4 Da avaliação à decisão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX026"]

[6.1 Desenhar a avaliação]
    |
    v
[Laboratório — Avaliação pareada]
    |
    v
[6.2 Ler os resultados]
    |
    v
[6.3 Ameaças à conclusão]
    |
    v
[6.4 Da avaliação à decisão]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX026]

Objetivos de aprendizagem

Você vai (1) desenhar uma avaliação controlada da implantação de uma linha de base criptográfica; (2) analisar dados pareados de antes e depois; (3) relatar o efeito, a incerteza e as ameaças.

6.1 Desenhar a avaliação

Antes de implantar a linha de base de TLS em toda a empresa, Leila a avalia em oito locais. Cada local conta os endpoints mal configurados, os que aceitam protocolos legados, suítes de cifras fracas ou certificados expirados, usando o mesmo perfil de scanner antes e três meses depois de aplicar os modelos da linha de base e a renovação automatizada de certificados. A medição pareada controla as diferenças entre os locais, como tamanho e idade. Ela registra o plano, a definição do desfecho e a análise com a Prof.ª Rao antes de coletar os dados de depois, para que não possa ajustar a definição do desfecho a fim de favorecer o resultado.

Laboratório — Avaliação pareada

"""Before/after evaluation of a TLS baseline rollout across 8 synthetic sites, with a sign-flip test."""
import random
BEFORE = [14, 9, 11, 6, 17, 8, 12, 10]   # misconfigured endpoints per site
AFTER = [5, 4, 6, 3, 9, 5, 4, 6]

def main():
    d = [b - a for b, a in zip(BEFORE, AFTER)]
    obs = sum(d) / len(d)
    rng = random.Random(11); n = 20000
    hits = sum(sum(x if rng.random() < 0.5 else -x for x in d) / len(d) >= obs for _ in range(n))
    print(f"mean reduction {obs:.2f} endpoints per site; every site improved: {all(x > 0 for x in d)}")
    print(f"sign-flip p = {hits / n:.4f} (seed 11, {n} draws)")

if __name__ == "__main__":
    main()

Execute com python3 lab_eval.py. Saída verificada:

mean reduction 5.62 endpoints per site; every site improved: True
sign-flip p = 0.0036 (seed 11, 20000 draws)

6.2 Ler os resultados

Todos os locais melhoram, e a redução média é de 5,62 endpoints mal configurados por local. Um teste de inversão de sinais pergunta com que frequência uma redução média desse tamanho ocorreria se a mudança de cada local tivesse a mesma probabilidade de ser positiva ou negativa; com a semente 11 e 20.000 sorteios, o valor p é 0,0036, próximo do mínimo possível para oito locais, 1/256. Leila relata as contagens absolutas de antes e depois por local, e não apenas a média, porque um gestor do maior porto quer ver os números do seu próprio local e porque, do contrário, locais com valores extremos poderiam dominar.

6.3 Ameaças à conclusão

Leila lista as ameaças. Sem um grupo de controle, outras mudanças durante os três meses, como uma campanha separada de aplicação de patches, poderiam explicar parte da melhoria. O scanner vê apenas os endpoints alcançáveis. A equipe sabia que estava sendo medida. Oito locais são poucos, e os locais do piloto se ofereceram como voluntários, de modo que podem ser mais capazes do que os outros. Ela recomenda uma implantação escalonada nos locais restantes, o que cria grupos de comparação naturais, e a continuidade da medição depois que a atenção inicial diminuir. Ela lista cada ameaça com a direção provável do seu viés.

6.4 Da avaliação à decisão

A avaliação sustenta a implantação da linha de base, com ressalvas. Leila atualiza o registro de decisão do Capítulo 1 com as evidências, anota as ameaças e acrescenta um requisito de monitoramento: a contagem de configurações incorretas por local se torna uma métrica trimestral. Ela também relata os custos: cerca de duas semanas de engenheiro por local, gastas principalmente com clientes legados. Incluir os custos permite ao conselho comparar este programa com outros que disputam o mesmo orçamento, que é o verdadeiro contexto de decisão em escala organizacional. O conselho aprova a implantação nos locais restantes.

Exemplo resolvido

A avaliação pareada de Leila em oito locais mostra uma redução média de 5,62 endpoints mal configurados (inversão de sinais, p = 0,0036), com as ameaças e os custos relatados e uma implantação escalonada recomendada.

Caso sintético. Os dados dos locais são inventados.

Erros e limites

Desenhos de antes e depois sem controles são vulneráveis a mudanças simultâneas. Locais voluntários podem não representar os demais.

Exercícios

Síntese

Avaliações pareadas pré-registradas, com ameaças e custos, transformam uma linha de base promissora em evidência para decisões em toda a organização.

Continue estudando — aula 06 (capítulo 06 de 12)

← Capítulo 05 · Índice das aulas · Capítulo 07 →

Continue para a próxima aula já escrita.