Capítulo 5 — Estudo principal e validação independente
Mapa da aula
Aula 05 publicada. Mapa, exemplo, EX027.
flowchart TD
N0["5.1 Desenho pareado"]
N1["5.2 Três incertezas"]
N2["5.3 Validação independente com regras congeladas"]
N3["5.4 Adjudicação cega"]
N4["5.5 Atividade prática — Laboratório 5: bootstrap par"]
N5["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX027"]
Desenho lógico
flowchart LR
N0["5.1 Desenho pareado"]
N1["5.2 Três incertezas"]
N2["5.3 Validação independente com regras congeladas"]
N3["5.4 Adjudicação cega"]
N4["5.5 Atividade prática — Laboratório 5: bootstrap par"]
N5["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX027"]
[5.1 Desenho pareado]
|
v
[5.2 Três incertezas]
|
v
[5.3 Validação independente com regras congeladas]
|
v
[5.4 Adjudicação cega]
|
v
[5.5 Atividade prática — Laboratório 5: bootstrap par]
|
v
[Síntese do capítulo]
|
v
[Exemplo resolvido] --> [Exercício EX027]
Objetivos de aprendizagem e conexão
Depois deste capítulo, você consegue (1) executar uma comparação pareada de dois métodos de inventário sobre os mesmos itens; (2) separar a incerteza amostral, a incerteza de medição e a incerteza de modelo; (3) validar num corpus independente com regras congeladas; (4) conduzir uma adjudicação cega e relatar a concordância; e (5) escrever um parágrafo de resultados honesto. Ele executa o desenho que o Capítulo 4 pilotou e fornece os resultados que o Capítulo 6 vai atacar.
5.1 Desenho pareado
Os dois métodos são aplicados aos mesmos itens adjudicados, então a grandeza de interesse é uma diferença pareada: para cada uso vulnerável à computação quântica, a análise estática o encontrou, e a análise de duas fontes o encontrou? O pareamento remove a variabilidade entre itens — alguns usos são simplesmente difíceis de encontrar — e dá um intervalo muito mais estreito do que comparar duas estimativas independentes de revocação. Como o método de duas fontes é uma união que inclui as constatações estáticas, a diferença por item só pode ser 0 ou +1 para a revocação; a precisão, ao contrário, pode cair, e é por isso que existe a H2.
5.2 Três incertezas
A incerteza amostral é o que um intervalo bootstrap captura: se outro conjunto de usos tivesse sido adjudicado, a estimativa seria diferente. A incerteza de medição vem da adjudicação: dois engenheiros podem discordar sobre se um uso existe, então relate a concordância (κ) e faça uma análise de sensibilidade em que os itens disputados são contados das duas formas. A incerteza de modelo vem das escolhas analíticas — a regra de canonização, a janela de observação, a definição de "uso" no livro de códigos. Relate uma pequena curva de especificações: a estimativa principal sob cada alternativa defensável. Uma conclusão que se mantém nas três é robusta; uma que se mantém apenas sob uma especificação é uma constatação sobre essa especificação.
5.3 Validação independente com regras congeladas
O corpus da Marrow Logistics nunca foi examinado durante o desenvolvimento. As regras de fusão, os limiares e o livro de códigos são congelados e têm o hash calculado (o SHA-256 do arquivo de configuração é registrado no diário da tese) antes de os dados da Marrow serem abertos. A Marrow difere de propósito: menos appliances de fornecedores, mais leitores portáteis embarcados nos armazéns e uma equipe de operações que usa muito SSH. O mecanismo do Capítulo 3 prevê, portanto, um ganho agregado menor — uma previsão bem-sucedida de benefício reduzido é evidência a favor do mecanismo, e não contra o método.
Registre a data em que os dados da Marrow foram abertos pela primeira vez ao lado do hash da configuração congelada.
5.4 Adjudicação cega
Os engenheiros E01–E10 (sintéticos) recebem cada uso candidato sem a procedência da ferramenta e em ordem aleatória, mais a documentação dos donos. Dois engenheiros adjudicam cada item; um terceiro resolve as discordâncias. No estudo principal, a concordância sintética é κ = 0,78, depois da emenda ao livro de códigos feita no piloto. Os itens que nenhum engenheiro consegue determinar são codificados como desconhecidos: 9% dos ativos da HRHN e 14% dos ativos da Marrow, relatados ao lado da revocação, em vez de descartados.
Relate a concordância por classe de ativo, além da geral, porque os adjudicadores podem achar os appliances mais difíceis de julgar do que o código interno. Guarde as resoluções do terceiro engenheiro num arquivo separado, para que o leitor veja quantos itens precisaram de uma e se alguma classe foi mais disputada do que as outras.
5.5 Atividade prática — Laboratório 5: bootstrap pareado
# Lab 5 (synthetic): paired bootstrap CI for the recall gain (dual - static) on two corpora.
import random
def corpus(seed, mix):
rng = random.Random(seed); items = []
probs = {"code": (0.90, 0.55), "appliance": (0.20, 0.80), "embedded": (0.30, 0.10), "rest": (0.70, 0.0)}
for cls, n in mix.items():
ps, pp = probs[cls]
for _ in range(n):
s = rng.random() < ps; p = rng.random() < pp
items.append((s, s or p))
return items
def gain_ci(items, reps=2000, seed=1):
rng = random.Random(seed); n = len(items)
point = sum(d - s for s, d in items) / n
boots = sorted(sum(d - s for s, d in (items[rng.randrange(n)] for _ in range(n))) / n for _ in range(reps))
return point, boots[int(0.025 * reps)], boots[int(0.975 * reps)]
for name, seed, mix in [("HRHN hospitals 2-3", 11, {"code": 300, "appliance": 180, "embedded": 120, "rest": 100}),
("Marrow (frozen rules)", 22, {"code": 500, "appliance": 60, "embedded": 200, "rest": 140})]:
g, lo, hi = gain_ci(corpus(seed, mix))
print(f"{name:24s} recall gain = {g:.3f} 95% CI [{lo:.3f}, {hi:.3f}]")
Saída esperada:
HRHN hospitals 2-3 recall gain = 0.207 95% CI [0.176, 0.236]
Marrow (frozen rules) recall gain = 0.097 95% CI [0.079, 0.116]
Sob esses pressupostos sintéticos, a H1 (ganho ≥ 0,10 na HRHN) é sustentada, e a H4 (ganho ≥ 0,05 na Marrow) é sustentada, com o ganho menor da Marrow previsto pela sua composição de classes. O intervalo bootstrap reflete apenas a amostragem; não diz nada sobre erros de adjudicação nem sobre se a Marrow se parece com alguma empresa real.
O laboratório sorteia as detecções por classe a partir das mesmas probabilidades arbitrárias usadas no Laboratório 3 e as aplica a duas composições de classes. A composição da HRHN, de 700 usos, corresponde ao tamanho do corpus reservado; a composição da Marrow tem menos appliances e mais dispositivos embarcados. O bootstrap pareado reamostra itens, mantendo juntos os resultados estático e de duas fontes de cada item, e é por isso que os intervalos são estreitos.
5.6 Exemplo resolvido: o parágrafo de resultados honesto
"No corpus reservado da HRHN (sintético; 700 usos vulneráveis à computação quântica adjudicados), o inventário de duas fontes aumentou a revocação em 0,21 (IC bootstrap de 95% 0,18–0,24) em relação a uma linha de base estática configurada com competência; a precisão foi de 0,93. O ganho se concentrou nos appliances de fornecedores (0,63) e esteve ausente nos dados em repouso (0,00), como previsto (H3). Com as regras congeladas, o ganho num corpus independente foi de 0,10 (0,08–0,12). Nove e catorze por cento dos ativos, respectivamente, não puderam ser adjudicados e estão excluídos dos denominadores da revocação; sob o pressuposto de pior caso de que todos os ativos desconhecidos contêm usos vulneráveis não descobertos, a revocação cai até 0,12. Esses resultados descrevem duas organizações sintéticas e um modelo de detecção; não são estimativas para empresas reais." Note o que o parágrafo se recusa a dizer: não alega que nenhuma das organizações seja "segura contra a computação quântica" nem que o inventário de duas fontes seja suficiente.
5.7 Erros comuns e limites
- Comparar estimativas de revocação não pareadas e relatar intervalos sobrepostos como "nenhuma diferença".
- Relatar apenas a incerteza amostral.
- Tocar o corpus de validação antes de congelar as regras — mesmo que seja para "verificar o formato".
- Retirar os ativos desconhecidos do denominador sem dizer.
- O Laboratório 5 simula probabilidades de detecção; as classes de ativos reais são mais confusas.
Cada erro tem uma salvaguarda concreta neste estudo: o desenho pareado, o relato das três incertezas, a configuração congelada e com hash antes de a Marrow ser aberta e as participações desconhecidas de nove e catorze por cento impressas ao lado da revocação. Um revisor deve conseguir confirmar as quatro a partir do arquivo, sem perguntar ao candidato.
Exercícios — capítulo 5
- EX027 — Por que parear? Explique, com o Laboratório 5, por que o intervalo pareado é mais estreito do que dois intervalos independentes. Rubrica: 3 = argumento de variância correto.
- EX028 — Itens disputados. Dados 40 itens disputados na HRHN, descreva a análise de sensibilidade e como você a relataria. Rubrica: 3 = limites contando das duas formas e frase de relato.
- EX029 — Curva de especificações. Liste quatro especificações alternativas defensáveis para a estimativa principal. Rubrica: 3 = cada uma altera uma escolha analítica e é justificada.
- EX030 — Protocolo de congelamento. Escreva o procedimento de congelamento para a Marrow, incluindo o que recebe hash e quem o testemunha. Rubrica: 3 = verificável por alguém de fora.
- EX031 — Prever a Marrow. Usando as probabilidades por classe do Laboratório 3, preveja o ganho agregado da Marrow a partir da sua composição antes de executar o Laboratório 5. Rubrica: 3 = previsão a menos de 0,03 e método mostrado.
- EX032 — Parágrafo de resultados. Reescreva um parágrafo que alega demais ("O nosso método torna as organizações seguras contra a computação quântica") no estilo de 5.6. Rubrica: 3 = escopo, incerteza e desconhecidos presentes.
Síntese do capítulo
O estudo principal é uma comparação pareada com três tipos de incerteza relatados, validada num corpus intocado sob regras congeladas, adjudicada às cegas e redigida com os seus desconhecidos presentes na discussão sobre o denominador. Uma redução prevista do benefício num corpus diferente sustenta o mecanismo.
Continue estudando — capítulo 05 de 08
← Capítulo 04 · Índice de capítulos do curso · Capítulo 06 →
Siga para a próxima lição escrita.