Capítulo 6 — Crítica dos pares e revisão

Capítulo 6 — Crítica dos pares e revisão

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX034.

flowchart TD
  N0["6.1 A crítica como método"]
  N1["6.2 O relatório do red team sobre o Cascade Study si"]
  N2["6.3 Atividade prática: condições de contorno, descom"]
  N3["6.4 Análise de sensibilidade além de um fator por ve"]
  N4["6.5 Resultados negativos e estreitamento"]
  N5["6.6 Revisão de duplo uso das constatações"]
  N6["6.7 Respondendo aos revisores"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX034"]

Desenho lógico

flowchart LR
  N0["6.1 A crítica como método"]
  N1["6.2 O relatório do red team sobre o Cascade Study si"]
  N2["6.3 Atividade prática: condições de contorno, descom"]
  N3["6.4 Análise de sensibilidade além de um fator por ve"]
  N4["6.5 Resultados negativos e estreitamento"]
  N5["6.6 Revisão de duplo uso das constatações"]
  N6["6.7 Respondendo aos revisores"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX034"]

[6.1 A crítica como método]
    |
    v
[6.2 O relatório do red team sobre o Cascade Study si]
    |
    v
[6.3 Atividade prática: condições de contorno, descom]
    |
    v
[6.4 Análise de sensibilidade além de um fator por ve]
    |
    v
[6.5 Resultados negativos e estreitamento]
    |
    v
[6.6 Revisão de duplo uso das constatações]
    |
    v
[6.7 Respondendo aos revisores]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX034]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

1. Organizar a crítica adversarial da própria tese — red-teaming interno, revisão externa estruturada e colaboração adversarial — e registrá-la.
2. Detectar a circularidade entre modelo e política e testá-la com um descompasso deliberado do modelo.
3. Mapear as condições de contorno com análise de sensibilidade e com muitos contextos gerados, reconhecendo que o próprio gerador é um modelo.
4. Distinguir uma revisão confirmatória de uma exploratória e rotular cada uma.
5. Escrever resultados negativos e estreitados de modo que sejam úteis para os outros.
6. Conduzir uma revisão de duplo uso das constatações da pesquisa e decidir o que publicar, generalizar, adiar ou restringir.
7. Escrever uma resposta aos revisores que mude as alegações em vez de defendê-las.

O Capítulo 5 produziu um resultado misto: forte benefício sobre a ordenação pelos clientes, uma troca que não atendeu sua margem, nenhum benefício sobre as listas de sinalização crítica numa região e um grande benefício na outra. É neste capítulo que a tese conquista suas alegações tentando destruí-las.

6.1 A crítica como método

A revisão por pares na publicação chega tarde demais e é rasa demais para ser o principal controle de qualidade de um projeto de doutorado. Incorpore a crítica ao projeto:

• Red team interno. Antes da submissão, pede-se a um colega que não trabalhou no estudo que quebre a alegação principal, com acesso ao código, aos dados e ao pré-registro. O relatório dele é respondido por escrito.
• Revisão externa estruturada. Parceiros e especialistas do domínio revisam a estrutura do modelo e as alegações, usando um formulário que pede a objeção mais forte, e não uma impressão geral.
• Colaboração adversarial. Onde um pesquisador crível defende uma visão oposta (por exemplo, que a priorização baseada na topologia é suficiente), desenhe um teste conjunto cujos desfechos os dois lados concordem de antemão que mudariam sua visão.
• Pré-mortem. Imagine que a tese foi rejeitada na defesa; escreva as razões do examinador. Depois, teste cada razão.

Toda crítica e toda resposta entram no registro de revisões da tese. Os examinadores confiam em trabalhos cujas fraquezas foram visivelmente atacadas.

6.2 O relatório do red team sobre o Cascade Study (sintético)

Um red team interno produziu cinco objeções principais:

1. Circularidade. "DEP é calculada a partir das próprias reservas e do próprio mapa de dependências do modelo e depois avaliada no mesmo modelo. É claro que se sai bem. Na realidade, o mapa do planejador está errado."
2. Artefato das reservas curtas. "As reservas de Riverbend são curtas em relação aos tempos de restauração. Com contratos de combustível realistas, nada do que vocês fizerem importa."
3. Seleção do contexto. "Port Halvard foi escolhida para fazer o mecanismo operar. Duas regiões, uma escolhida para o método, não podem estimar com que frequência DEP ajuda."
4. Fraqueza da heurística. "O próprio oráculo de vocês mostra que DEP está longe do ótimo em Riverbend. Por que alguém adotaria uma regra que vocês sabem ser subótima?"
5. Duplo uso. "Vocês mostraram que a perda de serviços críticos depende de qual alimentador é restaurado primeiro e de se o mapa do planejador está certo. Isso diz a um adversário o que atacar: os dados de prioridade de restauração."

Cada objeção é uma hipótese sobre o resultado. O restante do capítulo as testa.

6.3 Atividade prática: condições de contorno, descompasso e muitas regiões

O laboratório importa o simulador do Laboratório 5 (salve-o como lab5_mc.py na mesma pasta).

# Lab 6 - boundary conditions, model mismatch and many synthetic regions (offline)
# Save Lab 5 as lab5_mc.py in the same folder first.
import random, statistics
import lab5_mc as m

def mean_gain(region, **kw):
    _, res, cust = m.experiment(region, n=300, oracle=False, **kw)
    return (statistics.fmean(res["DEP"]) - statistics.fmean(res["CRITFLAG"]),
            statistics.fmean(res["DEP"]) - statistics.fmean(res["SILO"]))

print("1) Riverbend buffer scaling: (DEP-CRITFLAG, DEP-SILO) mean loss")
for s in (0.5, 1.0, 2.0, 4.0):
    a, b = mean_gain(m.RIVERBEND, buffer_scale=s)
    print(f"   scale {s:3.1f}: {a:7.2f} {b:7.2f}")

print("2) Model mismatch: water plant truly on F1, planner believes F3")
true = {**m.RIVERBEND, "services": {**m.RIVERBEND["services"], "WATER": ("F1",) + m.RIVERBEND["services"]["WATER"][1:]}}
_, res, _ = m.experiment(true, n=300, oracle=False, believed_feeder={"WATER": "F3"})
print("   mean loss SILO %.2f CRITFLAG %.2f DEP %.2f" % tuple(statistics.fmean(res[k]) for k in ("SILO", "CRITFLAG", "DEP")))

print("3) 200 random synthetic regions: gain of DEP over CRITFLAG vs rank divergence")
def random_region(rng):
    feeders = [f"G{i}" for i in range(1, 6)]
    cust = {f: rng.choice([500, 1000, 2000, 4000, 8000]) for f in feeders}
    crit = rng.sample(feeders, 3)
    services = {}
    for i, f in enumerate(crit):
        lo = rng.choice([1, 4, 12, 36])
        services[f"S{i}"] = (f, (lo, lo * 3, lo * 2), rng.choice([3.0, 4.0, 5.0]), None)
    return {"customers": cust, "crews": 1, "dur": (2, 6, 4), "services": services}
def divergence(region):
    flag = [f for f in m.critflag(region) if f in {v[0] for v in region["services"].values()}]
    depo = [f for f in m.dep(region) if f in flag]
    return sum(1 for a, b in zip(flag, depo) if a != b)
rng = random.Random(2026)
rows = []
for _ in range(200):
    r = random_region(rng)
    _, res, _ = m.experiment(r, n=60, oracle=False)
    rows.append((divergence(r), statistics.fmean(res["DEP"]) - statistics.fmean(res["CRITFLAG"])))
for d in sorted({d for d, _ in rows}):
    g = [x for dd, x in rows if dd == d]
    print(f"   positions differing={d}: regions={len(g):3d} mean gain={statistics.fmean(g):7.2f} share DEP worse={sum(x > 0 for x in g)/len(g):.2f}")

Saída esperada:

1) Riverbend buffer scaling: (DEP-CRITFLAG, DEP-SILO) mean loss
   scale 0.5:    6.10  -86.14
   scale 1.0:    0.38  -47.57
   scale 2.0:    0.02   -7.25
   scale 4.0:    0.00    0.00
2) Model mismatch: water plant truly on F1, planner believes F3
   mean loss SILO 29.41 CRITFLAG 26.21 DEP 22.29
3) 200 random synthetic regions: gain of DEP over CRITFLAG vs rank divergence
   positions differing=0: regions= 69 mean gain=   0.00 share DEP worse=0.00
   positions differing=2: regions= 77 mean gain= -11.21 share DEP worse=0.01
   positions differing=3: regions= 54 mean gain= -23.97 share DEP worse=0.00

6.3.1 Objeção 1: circularidade

Na parte 2, a estação de água verdadeira está em F1, mas tanto a lista de clientes críticos quanto o planejador de DEP acreditam que ela está em F3. Toda política ciente da criticidade se degrada fortemente: DEP de 4,32 para 22,29, CRITFLAG de 3,97 para 26,21. SILO na verdade melhora (52,75 → 29,41) porque restaura F1 primeiro por razões de clientes e, com isso, acaba restaurando a água. A objeção é sustentada numa forma mais forte do que a que o red team declarou: o valor de qualquer ordenação ciente da criticidade depende da acurácia do mapa de dependências. A revisão consiste em tornar a acurácia do mapa uma pré-condição declarada da alegação, acrescentar ao método um procedimento de auditoria do mapa e recomendar a medição do erro do mapa em qualquer aplicação de campo. Isso transforma uma fraqueza numa contribuição: um pré-requisito mensurável que as concessionárias podem verificar.

6.3.2 Objeção 2: reservas curtas

A parte 1 escalona todas as reservas. À medida que as reservas dobram, a vantagem de DEP sobre SILO cai de 47,57 para 7,25 horas de serviço ponderadas e desaparece com quatro vezes as reservas obtidas. A objeção é sustentada como condição de contorno: quando as reservas excedem com folga o tempo total de restauração, a ordenação não importa para os serviços críticos. Essa é exatamente a previsão do mecanismo no Capítulo 3, então o resultado apoia o mecanismo ao mesmo tempo em que limita o escopo da alegação. Ele também revela algo que o red team não levantou: com metade das reservas obtidas, DEP é pior do que CRITFLAG em 6,10 — a fraqueza da heurística da objeção 4 cresce quando as reservas são curtas, porque os erros sobre qual alimentador protege mais serviços ponderados custam mais.

6.3.3 Objeção 3: seleção do contexto

A parte 3 gera 200 regiões sintéticas com cinco alimentadores, três serviços críticos, números de clientes, faixas de reservas e pesos aleatórios, e as classifica por quantas posições diferem entre as ordens de CRITFLAG e de DEP entre os alimentadores críticos. Onde as ordens coincidem (69 regiões), o ganho é exatamente zero — como precisa ser. Onde diferem em duas posições (77 regiões), DEP reduz a perda média em 11,21 e é pior em cerca de 1% das regiões; onde diferem em três (54 regiões), em 23,97, nunca pior nesta amostra. O padrão previsto por H3 se sustenta em contextos que não foram escolhidos para o método.

A objeção do red team é, no entanto, parcialmente sustentada: o gerador sorteia o número de clientes e as reservas de forma independente, e esse pressuposto fixa com que frequência a divergência ocorre. As regiões reais podem ter correlações em qualquer direção. Se os alimentadores grandes tendem a abrigar instalações com reservas longas (hospitais grandes com grandes estoques de combustível), a ordem de maior primeiro de CRITFLAG corre no sentido oposto à ordem de menor reserva primeiro de DEP, e a divergência se torna mais comum; se os alimentadores grandes tendem a abrigar serviços de reserva curta (centrais de telecomunicações de áreas densas, a bateria), as duas ordens concordam e a divergência se torna mais rara. A frequência da divergência nas regiões reais é uma pergunta empírica que a tese não pode responder com geradores sintéticos; a alegação precisa ficar condicionada à divergência, que uma concessionária pode medir sobre si mesma.

6.3.4 Objeção 4: uma heurística sabidamente subótima

Sustentada. O limite oráculo mostra que uma regra que use os pesos e o espalhamento — por exemplo, ordenar os alimentadores pelo valor ponderado dos serviços que protegem por hora de restauração, levando em conta as dependências — poderia se sair melhor. O candidato pode desenvolver tal regra, mas ela precisa ser rotulada como exploratória: ela seria desenhada depois de ver os resultados confirmatórios e precisa ser confirmada em novas configurações (novas regiões, novas sementes, pré-registrada) antes que qualquer alegação seja feita. A tese pode apresentá-la legitimamente como o próximo passo mais promissor.

6.4 Análise de sensibilidade além de um fator por vez

Variar um fator por vez (reservas, depois pesos, depois durações) deixa escapar as interações — o resultado do escalonamento das reservas mostra que a fraqueza da heurística interage com a duração das reservas. A análise de sensibilidade global varia todos os insumos incertos juntos e reparte a variância da saída entre os insumos e suas interações; Saltelli et al. (2008) é uma introdução padrão. Para uma tese, uma sequência prática é: uma triagem de um fator por vez para encontrar os insumos que importam; um desenho estruturado (por exemplo, um fatorial sobre os poucos que importam); e então, se os recursos permitirem, índices baseados em variância. Relate do que a conclusão depende, nos termos do leitor: "A vantagem de DEP sobre a ordenação por sinalização crítica exige divergência entre as ordens das reservas e dos clientes, um mapa de dependências sem erros de alimentador e reservas menores do que cerca de duas vezes o tempo esperado de restauração."

A sensibilidade aos valores é distinta da sensibilidade aos parâmetros. Os pesos declarados com antecedência codificam as prioridades de um único painel. Reexecute com conjuntos alternativos de pesos — pesos iguais, pesos de um segundo painel, pesos que incluam os clientes comuns — e relate se as conclusões mudam (EX034).

6.5 Resultados negativos e estreitamento

O Cascade Study tem agora uma alegação estreitada:

Em cenários sintéticos de queda na distribuição que exigem restauração manual sequencial, ordenar pelo tempo até o impacto dos serviços críticos reduz a perda ponderada de serviços críticos declarada com antecedência em relação à ordenação por sinalização de clientes críticos somente quando as duas ordens diferem, o mapa de dependências é acurado e as reservas são curtas em relação ao tempo de restauração; onde essas condições se verificam, a redução é grande e os clientes-hora adicionais em relação à ordenação por sinalização ficam dentro de uma margem de 15%. Qualquer ordenação ciente da criticidade protege os serviços críticos muito melhor do que a ordenação pelos clientes, a um custo em clientes-hora de cerca de 60–70% nas regiões estudadas, o que excede a margem declarada com antecedência e é uma troca de política pública, e não uma melhoria técnica. A heurística do menor tempo até o impacto pode ter desempenho inferior ao da ordenação por sinalização quando as reservas são muito curtas, porque ignora os pesos e o espalhamento.

Observe o que a alegação estreitada faz: declara condições que uma concessionária pode medir; relata a margem não atendida; relata onde o método perde; e separa a constatação robusta (ordenação ciente da criticidade versus pelos clientes) da contribuição condicional (temporização versus listas). Um resultado negativo sobre H2 em Riverbend não é escondido; ele é a evidência que define o limite.

Publique os resultados negativos de forma útil. Declare a hipótese, o desenho, o tamanho do efeito com seu intervalo e o menor efeito de interesse que ele descarta. "Nenhuma diferença significativa" é inútil; "uma redução de 10% ou mais em relação à ordenação por sinalização fica descartada em Riverbend" é útil.

6.6 Revisão de duplo uso das constatações

Aplicando as três perguntas do Capítulo 1 (§1.4.3):

A segunda linha ilustra um padrão recorrente na pesquisa sobre infraestrutura: uma constatação de resiliência muitas vezes funciona também como uma constatação de superfície de ataque. O contexto de ameaça relevante é público — o AA24-038A da CISA descreve o pré-posicionamento nas redes de TI da infraestrutura, onde os dados de planejamento costumam residir —, então a recomendação defensiva (proteção da integridade e auditoria dos dados de prioridade de restauração) tem valor claro. Coordene com os parceiros e, quando apropriado, com o órgão setorial de compartilhamento de informações pertinente antes da publicação (Capítulo 8).

6.7 Respondendo aos revisores

Uma boa carta de resposta cita cada comentário, declara se ele foi aceito, parcialmente aceito ou não aceito, descreve a mudança (com a localização) e — quando não aceito — apresenta evidências, e não opiniões. Mais importante, ela muda as alegações, e não apenas a redação. Compare:

• Defensiva: "Agradecemos ao revisor. Port Halvard foi selecionada segundo critérios declarados com antecedência, então o viés de seleção não é uma preocupação."
• Responsiva: "Parcialmente aceito. Port Halvard foi selecionada segundo critérios derivados do mecanismo e declarados com antecedência, o que a torna um teste justo do mecanismo, mas não uma estimativa de com que frequência DEP ajuda. Acrescentamos uma análise de 200 regiões (§6.3.3), estreitamos a alegação para regiões com divergência das ordens e declaramos que a frequência da divergência nas regiões reais é desconhecida (Limitações, item 4)."

6.8 Erros comuns e limites

• Tratar a revisão por pares como um obstáculo em vez de um método.
• Avaliar uma política apenas no modelo usado para derivá-la.
• Relatar apenas a sensibilidade de um fator por vez.
• Tratar um gerador de contextos aleatórios como uma amostra da realidade.
• Apresentar uma revisão exploratória como confirmatória.
• Escrever os resultados negativos como "não significativos".

• Pular a revisão de duplo uso porque os resultados são "apenas simulações".

• Aceitar uma objeção do red team na forma original sem testar se uma versão mais forte se sustenta, como aconteceu com a circularidade.

• Tratar uma condição de contorno como uma derrota em vez de uma previsão confirmada do mecanismo que estreita a alegação.
• Presumir que os pressupostos de independência de um gerador de regiões aleatórias correspondem às regiões reais, onde o número de clientes e as reservas podem ser correlacionados.
• Escrever uma carta de resposta que agradece aos revisores e defende a alegação original em vez de mudá-la onde as evidências o exigem.
• Publicar as faixas de reservas derivadas dos parceiros porque parecem inofensivas de forma agregada.

Exercícios — capítulo 6

EX033 — Relatório do red team. Objetivo: atacar a sua própria alegação. Insumos: a alegação do Cascade Study antes do estreitamento (resumo do Capítulo 5) ou a sua própria. Restrições: pelo menos cinco objeções, cada uma declarada como hipótese testável. Passos: (1) escrever cada objeção; (2) dizer que evidência a sustentaria ou a descartaria; (3) desenhar o teste; (4) prever o desfecho antes de executar qualquer coisa. Evidência esperada: relatório. Rubrica: 3 = objeções específicas e testáveis, incluindo circularidade e seleção do contexto, com previsões registradas antes dos testes; 2 = uma ou duas não testáveis; 1 = genéricas; 0 = nada.

EX034 — Sensibilidade aos pesos. Objetivo: testar a sensibilidade aos valores. Insumos: Laboratório 5 e Laboratório 6. Restrições: off-line. Passos: (1) definir todos os pesos dos serviços como 1,0 nas duas regiões; (2) reexecutar a comparação principal; (3) registrar as perdas de DEP, CRITFLAG e SILO; (4) declarar se cada veredito da tabela de hipóteses muda; (5) explicar por quê. Evidência esperada: código modificado, saídas, parágrafo. Rubrica: 3 = saídas exatas, análise correta dos vereditos, explicação ligada ao espalhamento e aos pesos; 2 = saídas certas, explicação rala; 1 = erros; 0 = não executado.

EX035 — Experimento de erro do mapa. Objetivo: quantificar a fragilidade diante de erros no mapa. Insumos: Laboratório 6, parte 2. Restrições: off-line. Passos: (1) repetir o descompasso com a central de telecomunicações verdadeiramente em F4 enquanto os planejadores acreditam que está em F2; (2) registrar as perdas; (3) comparar com a parte 2; (4) propor um procedimento de auditoria do mapa com uma meta de acurácia mensurável. Evidência esperada: saídas e procedimento. Rubrica: 3 = saídas corretas, comparação com o descompasso da água, procedimento de auditoria mensurável (verificação de campo amostrada, taxa de acurácia, aprovação do responsável); 2 = procedimento vago; 1 = não executado corretamente; 0 = nada.

EX036 — Crítica do gerador. Objetivo: reconhecer o gerador como um modelo. Insumos: random_region no Laboratório 6. Restrições: propor uma mudança que codifique uma correlação plausível do mundo real. Passos: (1) modificar o gerador para que os alimentadores maiores tendam a abrigar serviços críticos com reservas mais longas; (2) reexecutar a parte 3; (3) comparar a distribuição da divergência e dos ganhos com a parte 3 original; (4) prever, e depois verificar, o que a correlação oposta faria; (5) explicar o que isso significa para a alegação. Evidência esperada: código, saída, parágrafo. Rubrica: 3 = correlação implementada de forma sensata; o estudante percebe que essa correlação faz as ordens de CRITFLAG e de DEP correrem em sentidos opostos, de modo que a divergência se torna mais frequente (as regiões sem divergência caem fortemente), e explica que a correlação oposta a tornaria mais rara, então a alegação precisa continuar condicionada à divergência medida; 2 = implementação sólida, mas a direção do efeito mal interpretada; 1 = sem comparação; 0 = nada.

EX037 — Decisão de duplo uso. Objetivo: decidir o tratamento de publicação. Insumos: quatro constatações da sua própria pesquisa ou: (a) uma lista de concessionárias de água cujo SCADA é alcançável pelo produto de acesso remoto de um fornecedor específico; (b) a observação de que os produtos de acesso remoto são um ponto de entrada comum entre os setores; (c) um método para estimar o tempo até o impacto a partir de dados públicos das instalações; (d) as estimativas de tempo até o impacto de hospitais nomeados numa cidade. Restrições: as três perguntas de §1.4.3. Passos: (1) avaliar o ganho para cada constatação; (2) avaliar o valor defensivo; (3) decidir entre publicar, generalizar, adiar e restringir; (4) declarar quem deve ser notificado antes da publicação. Evidência esperada: tabela. Rubrica: 3 = (a) restringir e notificar por divulgação coordenada, (b) publicar, (c) publicar com cuidado, (d) reter ou restringir, com raciocínio sólido; 2 = uma mal avaliada; 1 = duas ou mais; 0 = nada.

EX038 — Carta de resposta. Objetivo: mudar as alegações em resposta à crítica. Insumos: as cinco objeções do red team em §6.2. Restrições: uma resposta por objeção; pelo menos duas devem levar a uma alegação mudada. Passos: (1) citar cada objeção; (2) marcá-la como aceita, parcialmente aceita ou não aceita; (3) descrever a mudança e sua localização; (4) apresentar evidências para qualquer não aceitação. Evidência esperada: carta de resposta. Rubrica: 3 = responsiva em vez de defensiva, alegações mudadas onde justificado, trabalho exploratório rotulado; 2 = majoritariamente responsiva; 1 = defensiva; 0 = nada.

Síntese do capítulo

A crítica faz parte do método. As objeções do red team se tornaram hipóteses e testes. A circularidade foi sustentada numa forma mais forte — toda política ciente da criticidade depende de um mapa de dependências acurado —, o que se tornou uma pré-condição mensurável e uma recomendação defensiva. As reservas curtas foram confirmadas como uma condição de contorno prevista pelo mecanismo, e as reservas muito curtas expuseram a fraqueza da heurística. Uma análise de 200 regiões apoiou o mecanismo em contextos não escolhidos para ele, ao mesmo tempo em que nos lembrou de que um gerador é um modelo. A alegação estreitada declara condições mensuráveis, relata a margem não atendida e separa a constatação robusta da contribuição condicional. A revisão de duplo uso mostrou que uma constatação de resiliência também pode ser uma constatação de superfície de ataque e decidiu o que publicar e em que nível.

Continue estudando — capítulo 06 de 08

← Capítulo 05 · Índice de capítulos do curso · Capítulo 07 →

Siga para a próxima lição escrita.