Capítulo 24 — Métodos de pesquisa aplicada
Mapa da aula
Aula 24 publicada. Mapa, exemplo, EX070.
flowchart TD
N0["24.1 Da pergunta ao estudo"]
N1["24.2 As comparações e as suas armadilhas"]
N2["24.3 Coletar dados num ambiente operacional"]
N3["24.4 Uma análise que cabe nos dados"]
N4["24.5 Relato"]
N5["24.7 Atividade prática: projete um estudo"]
N6["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
N6 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX070"]
Desenho lógico
flowchart LR
N0["24.1 Da pergunta ao estudo"]
N1["24.2 As comparações e as suas armadilhas"]
N2["24.3 Coletar dados num ambiente operacional"]
N3["24.4 Uma análise que cabe nos dados"]
N4["24.5 Relato"]
N5["24.7 Atividade prática: projete um estudo"]
N6["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX070"]
[24.1 Da pergunta ao estudo]
|
v
[24.2 As comparações e as suas armadilhas]
|
v
[24.3 Coletar dados num ambiente operacional]
|
v
[24.4 Uma análise que cabe nos dados]
|
v
[24.5 Relato]
|
v
[24.7 Atividade prática: projete um estudo]
|
v
[Síntese do capítulo]
|
v
[Exemplo resolvido] --> [Exercício EX070]
Objetivos de aprendizagem e conexão
Depois deste capítulo, você deve ser capaz de:
- transformar uma pergunta operacional num estudo pequeno e respondível, com um método declarado;
- escolher uma comparação — antes/depois, com/sem, pareada — e reconhecer o que cada uma pode e não pode mostrar;
- coletar dados de forma ética e segura num ambiente operacional;
- relatar os resultados com os seus limites, para que um gestor possa agir sobre eles sem lê-los além do que dizem.
Os tecnólogos recebem com frequência perguntas que parecem simples — "a nova regra de alerta reduziu o tempo de resposta?", "o RLY-02 está mais lento desde a atualização?", "as nossas visitas às estações encontram deriva de configuração?" — e as respondem com impressões. Este capítulo ensina o estudo pequeno e honesto que fica entre uma impressão e um projeto de pesquisa. Ele lê os métodos publicados para usá-los, e não para produzir métodos novos.
24.1 Da pergunta ao estudo
Escreva a pergunta de modo que os dados possam respondê-la: população (quais estações, alertas, hosts), medida (com definição — Capítulo 9), comparação (contra o quê), período e decisão (o que será feito de forma diferente dependendo da resposta). "O novo texto de primeira ação da Regra C reduziu o tempo entre o alerta e a ligação para a sala de controle?" é respondível; "o monitoramento está melhor?" não é.
A pergunta sobre a Regra C nomeia a sua população (alertas de ausência), a medida (minutos até a ligação) e a decisão (adotar o texto ou não).
"O monitoramento está melhor?" não nomeia nenhuma delas.
24.2 As comparações e as suas armadilhas
- Antes/depois no mesmo sistema é fácil e fraca: qualquer outra coisa que tenha mudado no período (pessoal, estação do ano, carga de trabalho) pode explicar a diferença.
- Com/sem — algumas estações ou turnos recebem a mudança, outros não — é mais forte se os grupos forem semelhantes, e mais forte ainda se quem recebe a mudança for decidido por um método justo (alternância, sorteio), e não por quem se voluntariou.
- As comparações pareadas — as mesmas pessoas ou os mesmos hosts medidos sob as duas condições — removem as diferenças entre as unidades.
Fique atento à regressão à média: mudanças introduzidas depois de um mês excepcionalmente ruim costumam parecer eficazes porque o mês seguinte teria sido melhor de qualquer forma. Fique atento à agregação de grupos com linhas de base diferentes (Capítulo 9). E anote a análise antes de ver os resultados — a ideia por trás do pré-registro na pesquisa (Nosek et al., 2018) também se aplica em pequena escala: ela impede que você escolha a medida que favorece a mudança.
24.3 Coletar dados num ambiente operacional
Use os dados que o serviço já registra, sempre que possível: horários de alerta e de reconhecimento, carimbos de tempo dos tickets, contagens do relay. Se você precisar de dados novos — cronometrar um procedimento manual, perguntar aos operadores —, obtenha o acordo do responsável operacional, torne a participação voluntária para as pessoas, não perturbe a operação e não registre mais informação pessoal do que a pergunta precisa. Os princípios do Menlo Report — respeito às pessoas, beneficência, justiça e respeito à lei e ao interesse público — são uma verificação útil para qualquer estudo que envolva pessoas ou sistemas de TIC (Menlo Report, 2012).
24.4 Uma análise que cabe nos dados
Para estudos operacionais pequenos, os métodos simples são os melhores e os mais honestos: medianas e percentis (Capítulo 9), diferenças entre grupos com o número de observações declarado, intervalos para proporções (Wilson) e uma verificação de se o resultado sobrevive a explicações alternativas óbvias (remover uma semana incomum; comparar os turnos separadamente). Se a conclusão mudar quando um único dado é removido, diga isso.
O estudo da Regra C fez essa verificação: remover a semana da interrupção da operadora levou a mediana do texto antigo de 14 para 11 minutos, ainda mais lenta que 6.
Comparar os turnos separadamente teria sido a próxima verificação.
24.5 Relato
Uma nota de estudo de uma página tem: pergunta; método (população, medida, comparação, período, o que foi decidido de antemão); resultados com contagens; limites e explicações alternativas; e recomendação com a confiança que ela merece. Separe os resultados observados das inferências, como em todo este livro.
Para o estudo da Regra C, os resultados observados são 11 alertas com o texto antigo, com mediana de 14 minutos, e 12 alertas com o texto novo, com mediana de 6; a inferência é que a primeira ação ajuda. A linha de limites nomeia os números pequenos, o efeito da consciência do estudo e a semana da interrupção da operadora.
24.6 Exemplo resolvido: o novo texto de primeira ação ajudou? (sintético)
A FSTS reescreveu o alerta da Regra C para incluir uma primeira ação ("ligar para a sala de controle da Água, depois conferir a situação da operadora"). A pergunta: isso encurta o tempo entre o alerta e a ligação para a sala de controle? A equipe alternou o texto antigo e o novo por semana, durante oito semanas, ao longo da escala de plantão, de modo que cada tecnólogo recebeu os dois. Resultados: 11 alertas com o texto antigo, mediana de 14 minutos até a ligação; 12 com o texto novo, mediana de 6 minutos. Todo tecnólogo que recebeu os dois teve uma mediana menor com o texto novo. Limites: números pequenos; os tecnólogos sabiam do estudo (podem ter se esforçado mais); uma semana do texto antigo incluiu uma interrupção da operadora, com muitos alertas de uma vez. Removendo essa semana, a mediana do texto antigo é de 11 minutos — ainda mais lenta que 6. Recomendação: adotar o novo texto para todas as regras de ausência; medir de novo daqui a três meses a partir dos dados de rotina.
24.7 Atividade prática: projete um estudo
Escolha uma pergunta entre: (a) a latência p95 do RLY-02 aumentou desde o relayd 2.4.1? (b) as visitas trimestrais às estações encontram deriva que as verificações automatizadas perdem? (c) a revisão de acessos encontra menos problemas a cada trimestre? Escreva o projeto do estudo: pergunta, população, medida, comparação, período, decisão, fonte dos dados, notas éticas e de segurança, análise planejada de antemão.
Para a pergunta (a), a comparação está pronta: o canário do Capítulo 27 mediu a latência p95 do RLY-03 em 41 ms no relayd 2.4.1, contra 37 ms no 2.4.0, durante uma hora noturna. Um estudo estenderia isso a várias semanas de dados de rotina, incluiria o pico da manhã e as execuções semanais de relatórios, e decidiria de antemão que aumento dispararia um rollback.
24.8 Erros comuns e limites
- Perguntas que os dados não conseguem responder.
- Comparações antes/depois apresentadas como prova.
- Escolher a medida depois de ver os dados.
- Estudos que perturbam a operação ou coletam dados pessoais desnecessários.
- Resultados relatados sem contagens nem limites.
- Tratar um estudo pequeno como definitivo; ele é evidência para uma decisão, a ser conferida de novo.
O estudo da Regra C evitou o segundo erro ao alternar o texto por semana, em vez de comparar o antes com o depois.
Pedir a opinião dos tecnólogos depois do teste não teria acrescentado nada que os tempos não mostrassem, e teria coletado opiniões pessoais de que o estudo não precisava.
Exercícios — capítulo 24
EX070 — Torne-a respondível. Objetivo: reformular perguntas vagas. Entradas: (a) "A nossa aplicação de patches é boa?"; (b) "Os fornecedores são um risco?"; (c) "O SOC ajuda?" Restrições: cada pergunta reescrita precisa nomear população, medida, comparação e período. Etapas: reescreva as três. Evidência esperada: três perguntas. Rubrica: 3 = específicas, mensuráveis, com comparação e período e uma decisão associada; 2 = uma fraca; 1 = ainda vagas; 0 = nada.
EX071 — Encontre as fraquezas. Objetivo: criticar um estudo. Entradas: "Depois da interrupção de março, acrescentamos a Regra C. Em abril houve 30 % menos reclamações de telemetria do que em março, o que prova que a Regra C funciona." Restrições: quatro fraquezas. Etapas: nomeie cada uma e proponha um projeto melhor. Evidência esperada: lista e projeto. Rubrica: 3 = apenas antes/depois, regressão à média depois de um mês incomum, reclamações como medida ruim de detecção, sem contagens nem intervalo, outras mudanças no período; o projeto melhor mede o tempo de detecção nos alertas, com uma comparação; 2 = três; 1 = uma; 0 = nada.
EX072 — Escreva a nota do estudo. Objetivo: relatar um estudo pequeno. Entradas: Capítulo 24 ("Exemplo resolvido: o novo texto de primeira ação ajudou?"). Restrições: uma página; títulos do Capítulo 24 ("Relato"). Etapas: escreva a nota. Evidência esperada: nota. Rubrica: 3 = todos os títulos; contagens e medianas; limites incluindo a consciência do estudo, o n pequeno e a semana da interrupção, com a verificação de sensibilidade; recomendação proporcional, com um plano de nova medição; 2 = limites rasos; 1 = defesa da causa; 0 = nada.
Síntese do capítulo
Transforme as perguntas operacionais em estudos pequenos, com população, medida, comparação, período e decisão declarados. Prefira comparações que descartem as alternativas óbvias — alternância ou pareamento em vez de antes/depois — e decida a análise de antemão. Colete os dados com segurança e ética, com o acordo do responsável operacional, analise de forma simples, confira a sensibilidade e relate contagens e limites, para que o resultado seja usado com a confiança que merece.
Continue estudando — capítulo 24 de 30
← Capítulo 23 · Índice de capítulos do curso · Capítulo 25 →
Siga para a próxima lição escrita.