Capítulo 24 — Métodos de pesquisa aplicada
Mapa da aula
Aula 24 publicada. Mapa, exemplo, EX047.
flowchart TD
N0["24.1 Perguntas práticas"]
N1["24.2 Experimentos"]
N2["24.3 Estudos de medição"]
N3["24.4 Reportando"]
N4["24.5 Caso resolvido"]
N5["24.6 Atividade prática"]
N6["24.7 Tamanhos de amostra"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX047"]
Desenho lógico
flowchart LR
N0["24.1 Perguntas práticas"]
N1["24.2 Experimentos"]
N2["24.3 Estudos de medição"]
N3["24.4 Reportando"]
N4["24.5 Caso resolvido"]
N5["24.6 Atividade prática"]
N6["24.7 Tamanhos de amostra"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX047"]
[24.1 Perguntas práticas]
|
v
[24.2 Experimentos]
|
v
[24.3 Estudos de medição]
|
v
[24.4 Reportando]
|
v
[24.5 Caso resolvido]
|
v
[24.6 Atividade prática]
|
v
[24.7 Tamanhos de amostra]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX047]
Objetivos de aprendizagem
Você vai (1) formular perguntas de pesquisa práticas para as equipes de implementação; (2) projetar pequenos experimentos e estudos de medição; (3) controlar variáveis e repetir execuções; e (4) reportar os resultados com honestidade.
24.1 Perguntas práticas
A pesquisa de implementação responde a perguntas como: o grupo híbrido aumenta as falhas na rede do armazém? Quais clientes dos parceiros negociam o SSH híbrido? Quanto uma cadeia ML-DSA-44 acrescenta à latência da malha? Cada uma tem uma população, uma medida e uma decisão.
Escrever a decisão primeiro mantém o estudo pequeno. Para a pergunta do armazém, a KLS decidiu de antemão: se o limite superior da taxa de falhas com o híbrido exceder o do clássico em mais do que o orçamento de 0,04 ponto, os locais dos armazéns recebem um listener separado até que os proxies sejam atualizados; caso contrário, o perfil segue sem mudanças.
24.2 Experimentos
Mude uma variável (híbrido ligado/desligado, tipo de cadeia), mantenha as outras fixas (hardware, emulação de rede, versões dos clientes), sorteie a ordem, repita as execuções e registre tudo. Os desenhos pareados, em que cada cliente executa as duas condições, reduzem o ruído.
O laboratório da KLS usa emulação de rede para fixar a perda e o atraso, fixa as versões das bibliotecas dos clientes pelo digest da imagem e deixa um script escolher a ordem das condições a partir de uma semente registrada. Cada execução registra o hash da sua configuração, para que um leitor posterior possa dizer exatamente qual condição produziu cada linha. Um desenho pareado para a pergunta do armazém executa cada tipo de cliente com o híbrido e com o clássico dentro da mesma hora, para que a carga de cada horário do dia afete igualmente as duas condições.
24.3 Estudos de medição
Conte propriedades numa população: os grupos negociados pelos clientes SFTP dos parceiros ao longo de um mês, as versões das bibliotecas das imagens em todo o registro. Defina a população e a cobertura; reporte os desconhecidos.
Para o estudo dos parceiros, a KLS definiu a população como toda conta de parceiro com pelo menos uma sessão SFTP numa janela de 30 dias, contou 23 contas e reportou o algoritmo de KEX por conta a partir dos logs do sshd. Dois parceiros inativos não tiveram sessão e foram listados como desconhecidos, e não descartados, já que poderiam se reconectar com um cliente antigo a qualquer momento.
24.4 Reportando
Reporte medianas e percentis com intervalos, números de execuções, ambiente e limitações. Compartilhe os scripts. Se um resultado surpreender você, replique-o antes de agir.
O modelo de relatório da KLS tem títulos fixos: pergunta, população ou montagem, número de execuções, resultados com intervalos, ambiente, limitações e decisão. A latência é reportada como mediana e percentil 99, nunca como média, porque os tempos de handshake são distorcidos por alguns clientes lentos. Os scripts e os dados brutos têm links no relatório, e um resultado surpreendente é executado de novo num laboratório reconstruído antes que alguém aja com base nele.
24.5 Caso resolvido
Pergunta: o mTLS com ML-DSA-44 aumenta a latência p99 das chamadas na malha? Desenho: cluster de homologação, 10 pares de serviços, 2.000 chamadas por par e por condição, ordem sorteada, três dias. Resultado (sintético): p50 +0,3 ms, p99 +1,9 ms (IC de 95 % 1,2–2,7); CPU inalterada dentro do ruído. Limitação: os padrões de tráfego da homologação são mais simples do que os da produção. Decisão: seguir para um canário em produção.
Cada escolha de desenho remove um fator de confusão. Dez pares de serviços cobrem tamanhos de payload diferentes; a ordem sorteada distribui os efeitos do horário do dia entre as condições; três dias cobrem o padrão diário dos lotes. O intervalo de confiança do p99 exclui o zero, então o aumento é real, mas pequeno, e a limitação é declarada no mesmo lugar da decisão.
24.6 Atividade prática
Projete um experimento que compare as taxas de falha de handshake híbrido e clássico numa rede de armazém emulada, com 2 % de perda.
Especifique a rede emulada (2 % de perda, um atraso fixo como 80 ms, uma MTU), as versões das bibliotecas dos clientes, as duas condições (híbrido oferecido e preferido; apenas clássico), o número de handshakes por condição e como você o escolheu, e a ordem em que as execuções acontecem. Use um desenho pareado, para que cada cliente execute as duas condições. Declare a regra de decisão de antemão, por exemplo comparando os limites superiores de 95 % das taxas de falha com um orçamento, e liste uma limitação da emulação em comparação com os enlaces reais do armazém.
24.7 Tamanhos de amostra
Para eventos raros, o tamanho da amostra decide se um resultado é informativo. Para mostrar uma taxa de falhas abaixo de 0,1 % com confiança razoável, você precisa de vários milhares de ensaios com poucas falhas; com algumas centenas, mesmo zero falhas deixa um limite superior perto de 1 %. Estime a amostra necessária antes de começar, usando o método de limites de confiança do Capítulo 19, e planeje a duração da execução de acordo, em vez de parar quando o resultado parecer bom.
A KLS planejou o estudo do armazém com 6.000 handshakes por condição por esse motivo.
Com 6.000 handshakes e nenhuma falha, o limite superior é de cerca de 0,05 %, abaixo da meta de 0,1 %; com 600, o mesmo resultado limpo só teria limitado a taxa perto de 0,5 %.
24.8 Erros comuns e limites
- Mudar várias variáveis ao mesmo tempo.
- Parar cedo quando os resultados parecem favoráveis.
- Reportar médias de latências distorcidas.
O primeiro teste de armazém da KLS mudou a biblioteca do cliente e a lista de grupos juntas, então o seu resultado não podia dizer qual mudança importava. Um canário certa vez foi interrompido depois de uma boa primeira hora, antes do lote da noite que costumava expor as falhas. E um relatório inicial citou a latência média de handshake, que um punhado de conexões lentas de leitores elevou em vários milissegundos; a mediana e o percentil 99 contavam uma história mais clara. Cada erro faz um resultado parecer mais decisivo do que as evidências permitem.
Exercícios
- EX047 — Verificação do desenho. Identifique duas fraquezas num experimento que testa o híbrido na segunda-feira e o clássico na sexta-feira. Rubrica: 3 = confusão pelo tempo, sem pareamento/diferenças de carga.
- EX048 — Zero falhas. Com 300 ensaios e 0 falhas, que limite superior aproximado da taxa de falhas você pode afirmar (regra de três)? Rubrica: 3 = ≈ 1 % (3/300).
Síntese
A pesquisa prática usa experimentos controlados e repetidos e estudos de medição bem definidos, com relatórios honestos e tamanhos de amostra planejados de antemão.
Continue estudando — capítulo 24 de 30
← Capítulo 23 · Índice de capítulos do curso · Capítulo 25 →
Siga para a próxima lição escrita.