Capítulo 4 — Replicação da linha de base e piloto
Mapa da aula
Aula 04 publicada. Mapa, exemplo, EX021.
flowchart TD
N0["4.1 Linha de base"]
N1["4.2 Piloto da intervenção"]
N2["4.3 Estimação"]
N3["4.4 Refinamento dos instrumentos"]
N4["4.5 Go / no-go"]
N5["4.5b Briefing dos operadores"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX021"]
Desenho lógico
flowchart LR
N0["4.1 Linha de base"]
N1["4.2 Piloto da intervenção"]
N2["4.3 Estimação"]
N3["4.4 Refinamento dos instrumentos"]
N4["4.5 Go / no-go"]
N5["4.5b Briefing dos operadores"]
N6["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX021"]
[4.1 Linha de base]
|
v
[4.2 Piloto da intervenção]
|
v
[4.3 Estimação]
|
v
[4.4 Refinamento dos instrumentos]
|
v
[4.5 Go / no-go]
|
v
[4.5b Briefing dos operadores]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX021]
Objetivos de aprendizagem
Você vai (1) replicar um método de linha de base sob ROE em prosa; (2) conduzir um piloto da intervenção; (3) estimar taxas e variâncias; (4) refinar os instrumentos sem espiar as conclusões finais; e (5) decidir se o estudo principal segue ou não (go / no-go).
4.1 Linha de base
Execute a prática atual — ROE em prosa lidas no início — sobre uma topologia de laboratório fixa. Registre cada tentativa de sondagem com host, porta, ação e horário. Pontue o que está fora do escopo com as mesmas regras de predicado que você vai aplicar depois ao vivo, para que a linha de base seja comparável. Elena conduz dez engajamentos de linha de base na topologia fixa do NHUSTL. Pontuar a linha de base com os mesmos predicados que ela vai aplicar depois ao vivo significa que os dois braços usam uma única definição de fora do escopo, de modo que uma diferença possa ser atribuída ao verificador, e não a uma mudança na pontuação.
4.2 Piloto da intervenção
Ative o verificador que avalia as propostas antes da execução. Registre permissões, negações e motivos. Fique atento a paradas falsas, que frustram os operadores sem melhorar a segurança. O piloto de Elena tem dez engajamentos com o verificador ligado. Ela registra cada permissão e cada negação com seu motivo e anota se uma negação foi uma parada falsa, como um host digitado errado que na verdade estava no escopo. As paradas falsas são uma medida secundária: em excesso, tornam o verificador inutilizável, mesmo que as sondagens fora do escopo caiam. No piloto, as duas paradas falsas vieram de um operador que digitou errado um host no escopo, o que aponta para uma correção de interface, e não para uma mudança de política.
4.3 Estimação
Calcule taxas por hora com intervalos. Anote os efeitos de operador (algumas pessoas sondam mais). Mantenha a análise do piloto descritiva; não declare a hipótese "vitoriosa" ainda.
"""Rebuild a synthetic engagement timeline from event records."""
events = [
("09:00", "ROE brief signed", "auth"),
("09:15", "scoped host inventory loaded (12 hosts)", "prep"),
("10:02", "service enumeration on 10.20.1.0/28", "enum"),
("10:45", "finding SYN-001 noted on staging UI", "find"),
("11:10", "stop: host 10.20.0.1 probed — out of scope", "stop"),
("11:12", "escalated to client contact; confirmed deny-list", "comm"),
("13:00", "resume on in-scope hosts only", "auth"),
("15:30", "debrief draft shared with client", "report"),
]
# print chronological with phase tags; compute stop latency
print("phase timeline:")
for t, msg, phase in events:
print(f" {t} [{phase:6}] {msg}")
t0 = 10*60+45; t1 = 11*60+10
print(f"minutes from SYN-001 note to stop: {t1-t0}")
print(f"stop reason present: yes")
print(f"events={len(events)} phases={len(set(p for _,_,p in events))}")
Saída esperada:
phase timeline:
09:00 [auth ] ROE brief signed
09:15 [prep ] scoped host inventory loaded (12 hosts)
10:02 [enum ] service enumeration on 10.20.1.0/28
10:45 [find ] finding SYN-001 noted on staging UI
11:10 [stop ] stop: host 10.20.0.1 probed — out of scope
11:12 [comm ] escalated to client contact; confirmed deny-list
13:00 [auth ] resume on in-scope hosts only
15:30 [report] debrief draft shared with client
minutes from SYN-001 note to stop: 25
stop reason present: yes
events=8 phases=7
Elena relata as taxas do piloto com intervalos e ainda não testa H1. Os efeitos de operador são anotados para que o estudo principal possa se planejar para eles, por exemplo modelando o operador como fator ou equilibrando os horários entre as pessoas. Mantenha a análise do piloto num caderno separado do estudo principal. O laboratório de linha do tempo sintética dá uma verificação concreta: passaram-se 25 minutos entre a anotação do SYN-001 e a parada, uma latência que o estudo principal deve acompanhar.
4.4 Refinamento dos instrumentos
Esclareça a redação das ROE, corrija defeitos do verificador, melhore o registro. Trave os instrumentos antes do estudo principal. Documente cada mudança. A correção de usabilidade para erros de digitação feita por Elena e a versão travada do verificador ficam registradas, com datas, no log de instrumentos. Depois da trava, novas mudanças exigem uma emenda aprovada pelo orientador. A trava impede a deriva silenciosa entre engajamentos iniciais e tardios, e o estudo principal só começa quando a nova versão estiver fixada. Os operadores recebem o número da versão travada no briefing, para que possam relatar se aparecer um build diferente.
4.5 Go / no-go
Siga (go) se: a autorização continua válida; os instrumentos estão estáveis; o piloto mostra eventos fora do escopo diferentes de zero sob ROE em prosa (há, portanto, algo a reduzir); a ética não mudou. Não siga (no-go) ou reprojete se o verificador for inutilizável ou o laboratório for instável. A decisão de seguir de Elena lista os quatro critérios. Um exemplo de no-go é uma taxa de paradas falsas acima de cerca de 30%, que forçaria um reprojeto da usabilidade e um novo piloto antes do estudo principal. Seguir adiante com um verificador inutilizável produziria dados que medem frustração, e não cumprimento do escopo.
4.5b Briefing dos operadores
Faça o briefing dos operadores de modo idêntico nos dois braços: mesmo comprimento do texto das ROE, mesmo mapa da topologia, mesmas categorias de ferramentas permitidas. As diferenças devem vir do verificador, não de uma preparação desigual. Registre a duração do briefing e a presença. O roteiro de briefing de Elena é idêntico nos dois braços e dura o mesmo número de minutos. A presença é registrada para que briefings perdidos possam ser relatados como limitação, caso se concentrem num braço. Uma preparação desigual confundiria a comparação, por isso as diferenças devem vir apenas do verificador. O pacote de briefing também mostra o mesmo inventário de doze hosts no escopo nos dois braços, para que nenhum grupo comece com um mapa mais claro.
4.6 Exemplo resolvido (caso sintético do NHUSTL)
Linha de base (10 engajamentos): 0,18 sondagem fora do escopo por hora (intervalo de cerca de 0,11–0,28). Piloto com verificador (10 engajamentos): 0,04 por hora; duas paradas falsas quando um operador digitou errado um host do escopo. Os hábitos do laboratório de linha do tempo — anotar o achado, parar, escalonar — são ensaiados; na linha do tempo sintética, os minutos entre a anotação do SYN-001 e a parada são 25. Elena corrige a usabilidade dos erros de digitação e trava a versão do verificador. A linha de base mostra que há algo a reduzir: uma taxa fora do escopo diferente de zero sob ROE em prosa. O piloto mostra que o verificador pode cortar essa taxa e expõe um defeito de usabilidade que teria frustrado os operadores no estudo principal. Travar o verificador depois da correção mantém o estudo principal comparável entre os engajamentos.
4.7 Erros e limites
Três erros são comuns: mudar as regras de pontuação entre a linha de base e o piloto; tratar os resultados do piloto como confirmatórios; e pular a análise das paradas falsas. Cada erro prejudica a comparação. Mudar as regras de pontuação entre a linha de base e o piloto significa que as duas taxas não medem a mesma coisa. Tratar os resultados do piloto como confirmatórios aumenta a chance de um achado falso. Pular a análise das paradas falsas deixa um problema de usabilidade que vai confundir o estudo principal. Verifique os três pontos no relatório do piloto antes da decisão de seguir. Os critérios de go de Elena listam cada um.
Exercícios
- EX021 — Log da linha de base. Especifique os campos do log. Rubrica: 3 = host, porta, ação, horário, decisão, operador; 2 = quatro; 1 = dois; 0 = nenhum.
- EX022 — Comparabilidade. Por que pontuar a linha de base com os mesmos predicados? Rubrica: 3 = comparação justa; 2 = parcial; 1 = vago; 0 = errado.
- EX023 — Laboratório de linha do tempo. O que a latência até a parada mostra? Rubrica: 3 = 25 minutos, existência do processo; 2 = o número; 1 = vago; 0 = errado.
- EX024 — Parada falsa. Como Elena deve tratar as paradas causadas por hosts digitados errado? Rubrica: 3 = correção de usabilidade, sem enfraquecer o escopo; 2 = parcial; 1 = desligar o verificador; 0 = nenhum.
- EX025 — Critérios de go. Escreva quatro critérios de go. Rubrica: 3 = quatro adequados; 2 = três; 1 = um; 0 = nenhum.
- EX026 — No-go. Dê um cenário de no-go e um reprojeto. Rubrica: 3 = cenário e reprojeto; 2 = cenário; 1 = vago; 0 = nenhum.
Síntese
A linha de base e o piloto produzem taxas comparáveis, expõem problemas dos instrumentos e sustentam uma decisão disciplinada de go / no-go — não uma alegação prematura de sucesso.
Continue estudando — capítulo 04 de 08
← Capítulo 03 (rascunho) · Índice de capítulos do curso · Capítulo 05 (rascunho) →