Capítulo 6 — Crítica por pares e revisão

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX033.

flowchart TD
  N0["6.1 Quem critica"]
  N1["6.2 Maior vs menor"]
  N2["6.3 Revisão sem troca"]
  N3["6.4 Modelo de ameaças do estudo"]
  N4["6.4b Tradução para a prática"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX033"]

Desenho lógico

flowchart LR
  N0["6.1 Quem critica"]
  N1["6.2 Maior vs menor"]
  N2["6.3 Revisão sem troca"]
  N3["6.4 Modelo de ameaças do estudo"]
  N4["6.4b Tradução para a prática"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX033"]

[6.1 Quem critica]
    |
    v
[6.2 Maior vs menor]
    |
    v
[6.3 Revisão sem troca]
    |
    v
[6.4 Modelo de ameaças do estudo]
    |
    v
[6.4b Tradução para a prática]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX033]

Objetivos de aprendizagem

Você vai (1) solicitar crítica de especialistas em metodologia e em prática; (2) separar questões maiores de menores; (3) revisar sem trocar o desfecho; (4) atualizar o modelo de ameaças do seu próprio estudo; e (5) registrar uma trilha de resposta aos revisores.

6.1 Quem critica

Convide: um profissional de red team (validade ecológica), um pesquisador de medição (estatística), um especialista em ética ou um advogado (autorização) e um líder de blue team (se seus relatórios ajudariam os defensores). Compartilhe materiais com dados ocultados. Para Elena, cada revisor testa um ponto fraco diferente. O profissional pergunta se as faixas isoladas 10.20.0.0/16 e 192.168.50.0/24 do NHUSTL se parecem com as redes onde os erros de escopo realmente acontecem. O pesquisador de medição verifica se as sondagens fora do escopo por hora de engajamento, comparadas com 20 engajamentos por braço, sustentam o intervalo que ela relata. O advogado lê o arquivo de autorização, e o líder de blue team avalia se um log de motivos de negação ajudaria os defensores. Os materiais com dados ocultados ainda incluem o pré-registro, para que cada revisor veja o que ela prometeu antes de os dados chegarem.

6.2 Maior vs menor

Maior: a medida não corresponde à alegação; a independência está comprometida; há uma lacuna ética; os resultados são puxados por um único operador. Menor: redação, diagramação das figuras, lacunas nos trabalhos relacionados. Questões maiores mudam as conclusões ou exigem dados novos. Elena classifica cada comentário numa dessas duas listas antes de responder. O argumento do profissional de que a topologia do NHUSTL é limpa demais é maior, porque limita onde a queda de 0,17 para 0,03 sondagem fora do escopo por hora pode ser alegada. Um pedido para renomear o eixo de uma figura é menor. Classificar primeiro evita que ela passe uma semana na apresentação enquanto uma questão de validade espera, e a trilha de resposta mostra aos revisores que seus pontos maiores receberam a maior parte do esforço de revisão.

6.3 Revisão sem troca

Você pode esclarecer, acrescentar análises de sensibilidade ou coletar dados novos sob um pré-registro emendado. Você não pode redefinir o sucesso depois de ver os resultados. Se a primária falhar, diga isso e discuta por quê. No caso de Elena, a medida primária pré-registrada, sondagens fora do escopo por hora de engajamento, permanece fixa. Ela pode acrescentar uma análise de sensibilidade que descarta os engajamentos abortados por falha de infraestrutura, porque essa exclusão já estava nomeada no pré-registro. Ela não pode pôr o tempo até a parada como manchete se ele parecer mais forte; ele continua sendo uma medida secundária. O log de emendas registra cada mudança com sua data, para que um examinador possa comparar a tese revisada com o plano registrado antes do estudo principal.

6.4 Modelo de ameaças do estudo

Os atacantes do seu estudo incluem: operadores que burlam o verificador; infraestrutura do laboratório que deriva; validadores que compartilham incentivos. Documente os riscos residuais à validade. No NHUSTL, burlar o verificador significaria operadores dividindo uma sondagem entre portas permitidas ou propondo ações que o predicado não consegue expressar, de modo que o verificador não registre violação enquanto o comportamento continua a derivar. A deriva do laboratório incluiria uma faixa renumerada no meio do estudo, o que faria um CIDR permitido passar a cobrir, silenciosamente, hosts novos. Validadores que têm o mesmo orientador de Elena compartilham seu incentivo de encontrar um efeito. Cada ameaça recebe uma mitigação registrada ou é listada na tese como limite residual.

"""Password policy strength from synthetic samples (no cracking)."""
import math, string
samples = [
    "password",
    "P@ssw0rd",
    "correct-horse-battery",
    "Xk9!mQ2#vL7$",
    "aaaaaaaa",
]

def charset_size(s):
    n = 0
    if any(c.islower() for c in s): n += 26
    if any(c.isupper() for c in s): n += 26
    if any(c.isdigit() for c in s): n += 10
    if any(c in string.punctuation+"-" for c in s): n += 33
    return max(n, 1)

def entropy_bits(s):
    # naive: length * log2(charset); flags common patterns
    bits = len(s) * math.log2(charset_size(s))
    flags = []
    if s.lower() in {"password","admin","welcome","letmein"}: flags.append("common")
    if len(set(s)) == 1: flags.append("single-char")
    if s.isalpha() and s.istitle() and any(c.isdigit() for c in s): flags.append("word+digit")
    return bits, flags

for s in samples:
    b, f = entropy_bits(s)
    grade = "weak" if b < 40 or f else ("ok" if b < 60 else "strong")
    print(f"sample={s!r:28} bits={b:5.1f} grade={grade:6} flags={','.join(f) or '-'}")

Saída esperada:

sample='password'                   bits= 37.6 grade=weak   flags=common
sample='P@ssw0rd'                   bits= 52.6 grade=ok     flags=-
sample='correct-horse-battery'      bits=123.5 grade=strong flags=-
sample='Xk9!mQ2#vL7$'               bits= 78.8 grade=strong flags=-
sample='aaaaaaaa'                   bits= 37.6 grade=weak   flags=single-char

6.4b Tradução para a prática

Depois da revisão acadêmica, escreva um resumo de uma página para profissionais: o que configurar, o que medir no próximo engajamento autorizado e o que não alegar. Se os profissionais não conseguirem usar o resumo, o caminho da contribuição até o impacto está incompleto. O resumo de Elena declara os padrões do verificador, as duas medidas a acompanhar no próximo engajamento autorizado e as alegações recusadas: risco residual a partir de porcentagens de cobertura e substituição de programas guiados por ameaças. Ela pede a um operador do NHUSTL que siga o resumo sem preparo prévio e anota onde ele trava.

6.5 Exemplo resolvido (caso sintético do NHUSTL)

Um profissional argumenta que a topologia do NHUSTL é limpa demais em comparação com redes corporativas. Elena acrescenta uma subseção de limitações e uma replicação externa planejada, sem mudar a alegação primária. Um estatístico pede gráficos por operador; ela os acrescenta como exploratórios. O laboratório de entropia é usado num apêndice didático sobre por que "pontuações de complexidade" sem contexto enganam — de modo análogo às pontuações de segurança vazias. A limitação e a replicação externa planejada respondem ao profissional sem mudar as regras do jogo. A lição do laboratório de entropia — que contagens de bits sem contexto classificam o padrão comum P@ssw0rd como ok, com 52,6 bits — é paralela às pontuações de segurança vazias e fica num apêndice didático, não na alegação primária.

6.6 Erros e limites

Três erros são comuns: ignorar crítica maior; trocar discretamente a medida primária; e respostas defensivas sem evidências. Cada erro prejudica a honestidade. Ignorar crítica maior deixa questões de validade para os examinadores encontrarem. Trocar discretamente a medida primária muda as regras do jogo depois de ver os resultados. Respostas defensivas sem evidências não convencem revisores nem examinadores. Verifique os três pontos na trilha de resposta antes da próxima revisão. A trilha de resposta de Elena mostra primeiro as questões maiores, com evidências para cada resposta. Quando um revisor questionou a taxa de paradas falsas, ela respondeu com os logs do piloto e a correção do erro de digitação, e não com um argumento.

Exercícios

• EX033 — Revisores. Nomeie quatro papéis de revisor e uma pergunta para cada. Rubrica: 3 = quatro adequados; 2 = três; 1 = um; 0 = nenhum.
• EX034 — Questão maior. Dê um exemplo de questão maior para Elena e uma correção. Rubrica: 3 = questão e correção honesta; 2 = questão; 1 = cosmético; 0 = nenhum.
• EX035 — Sem troca. O que ela pode mudar depois dos resultados? Rubrica: 3 = esclarecer/sensibilidade/dados novos com emenda; 2 = parcial; 1 = redefinir o sucesso; 0 = nenhum.
• EX036 — Ameaça à validade. Liste três ameaças à validade. Rubrica: 3 = três com mitigações; 2 = duas; 1 = uma; 0 = nenhuma.
• EX037 — Laboratório de entropia. Como o laboratório sustenta o ceticismo diante de pontuações únicas? Rubrica: 3 = bits sem contexto enganam; analogia; 2 = parcial; 1 = vago; 0 = errado.
• EX038 — Trilha de resposta. Esboce uma tabela de resposta aos revisores. Rubrica: 3 = comentário, resposta, local da mudança; 2 = dois; 1 = um; 0 = nenhum.

Síntese

A crítica melhora a honestidade. Revise o que as evidências sustentam; nunca mude as regras do jogo em silêncio.

Continue estudando — capítulo 06 de 08

← Capítulo 05 (rascunho) · Índice de capítulos do curso · Capítulo 07 (rascunho) →