Capítulo 33 — Métodos de pesquisa II

Mapa da aula

Aula 33 publicada. Mapa, exemplo, EX065.

flowchart TD
  N0["33.1 Desenho comparativo"]
  N1["33.2 Incerteza e replicação"]
  N2["33.3 Evidências qualitativas"]
  N3["33.4 Seções de métodos"]
  N4["33.6 Atividade prática"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX065"]

Desenho lógico

flowchart LR
  N0["33.1 Desenho comparativo"]
  N1["33.2 Incerteza e replicação"]
  N2["33.3 Evidências qualitativas"]
  N3["33.4 Seções de métodos"]
  N4["33.6 Atividade prática"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX065"]

[33.1 Desenho comparativo]
    |
    v
[33.2 Incerteza e replicação]
    |
    v
[33.3 Evidências qualitativas]
    |
    v
[33.4 Seções de métodos]
    |
    v
[33.6 Atividade prática]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX065]

Objetivos de aprendizagem

Você vai (1) projetar estudos comparativos com variáveis controladas; (2) tratar a incerteza das medições e a replicação; (3) analisar dados qualitativos de entrevistas; e (4) escrever uma seção de métodos que outras pessoas consigam repetir.

33.1 Desenho comparativo

As perguntas comparativas — "qual de duas configurações híbridas tem melhor desempenho nos enlaces das agências?" — precisam de variáveis controladas: o mesmo hardware, a mesma emulação de rede, as mesmas versões de cliente, ordem aleatorizada. Registre tudo o que poderia diferir. Prefira desenhos pareados, em que cada condição roda no mesmo conjunto de clientes, para que a variação entre clientes se cancele.

Num laboratório, pequenas diferenças, como uma atualização em segundo plano numa máquina virtual, podem ser maiores que o efeito medido. Rode primeiro um piloto curto para verificar se a própria medição é estável antes de coletar os dados principais.

33.2 Incerteza e replicação

Relate as medianas e os percentis altos com intervalos de confiança; repita as execuções em dias diferentes; publique os scripts e as configurações. Um resultado que desaparece na replicação era ruído. Para eventos raros, como as falhas de handshake, planeje os tamanhos de amostra com antecedência, para que os limites de confiança sejam estreitos o bastante para sustentar a decisão.

Declare os intervalos no texto, e não apenas num apêndice, para que os leitores vejam quão certo é cada resultado. Uma diferença menor que a variação entre execuções deve ser relatada como nenhuma diferença detectável, o que é, por si só, um achado útil para uma decisão de migração.

33.3 Evidências qualitativas

Muitas perguntas sobre a migração são organizacionais: por que uma equipe atrasou? o que os fornecedores dizem sobre os roteiros? As entrevistas semiestruturadas, codificadas por temas recorrentes, respondem a essas perguntas. Proteja os entrevistados com consentimento, anonimização e armazenamento seguro. Combine os achados qualitativos com as medições: as entrevistas podem explicar por que o fallback persiste em certas agências.

As notas das entrevistas são analisadas com o mesmo cuidado que as medições: o esquema de codificação é registrado, e uma segunda pessoa codifica uma amostra para verificar a concordância. As citações são relatadas sem nomes nem detalhes que identifiquem uma agência ou uma pessoa.

33.4 Seções de métodos

Uma seção de métodos declara a pergunta, o desenho, o contexto, os participantes ou sistemas, o procedimento, as medidas, a análise e as limitações. O teste é a replicação: outro estudante conseguiria rodar de novo o seu estudo a partir do texto e obter resultados comparáveis?

Escreva-a enquanto o estudo é feito, e não depois. Inclua as versões exatas do software, a configuração de qualquer emulação de rede e quantas execuções foram feitas. As limitações também pertencem a esta seção: nos estudos da HCU, a mais comum é que o laboratório não reproduz todos os dispositivos encontrados nas agências.

33.5 Exemplo resolvido

Um estudo da HCU compara handshakes híbridos ML-KEM-768 com handshakes X25519 clássicos em enlaces de agência emulados (RTT de 40 ms, 1 % de perda). Desenho pareado: 20 VMs cliente, cada uma rodando 500 handshakes por condição em ordem aleatória, repetidos em três dias. Resultado (sintético): mediana +0,8 ms (IC de 95 % 0,6–1,0), p99 +3,1 ms (IC 2,2–4,3). As entrevistas com cinco funcionários de TI das agências explicam que duas agências passam por um proxy antigo, que a emulação não incluía — uma limitação declarada e o próximo estudo.

O achado do proxy se liga à implantação do Capítulo 29. Os scripts do estudo são guardados para que ele possa ser rodado de novo.

33.6 Atividade prática

Escreva uma seção de métodos para um estudo dos efeitos do tamanho da cadeia de certificados no aplicativo móvel da HCU, incluindo o raciocínio sobre o tamanho da amostra.

Explique de quantos handshakes você precisa para detectar uma diferença que importa, quais dispositivos cliente e condições de rede você vai emular e como vai separar o efeito do tamanho da cadeia de outras mudanças. Declare que resultado levaria a HCU a manter o ECDSA e qual apoiaria uma mudança para o ML-DSA. Liste as limitações que você espera antes de coletar qualquer dado.

33.7 Erros comuns e limites

• Comparações não pareadas com clientes não controlados.
• Relatar apenas médias para latências assimétricas.
• Entrevistas sem consentimento ou anonimização.
• Mudar duas variáveis ao mesmo tempo, de modo que o efeito não pode ser atribuído.
• Rodar toda uma condição antes da outra, deixando que os efeitos da hora do dia se infiltrem.
• Relatar os resultados de um dia como se fossem gerais.
• Tirar conclusões de entrevistas apenas com a equipe mais entusiasmada.

Cada um desses enfraquece a evidência da qual depende uma decisão de migração. A correção, em todos os casos, é planejar antes da coleta de dados. Escreva o plano primeiro.

Exercícios

• EX065 — Desenho pareado. Explique por que o desenho pareado de 33.5 é mais forte do que rodar cada condição em clientes diferentes. Rubrica: 3 = redução da variância e confusão.
• EX066 — Checklist de métodos. Liste os oito elementos de uma seção de métodos e dê um exemplo específico da HCU para dois deles. Rubrica: 3 = lista completa com exemplos.

Síntese

As comparações controladas, as medições replicadas com incerteza, a investigação qualitativa ética e as seções de métodos replicáveis tornam confiável a pesquisa sobre a migração.