Capítulo 33 — Métodos de pesquisa II
Mapa da aula
Aula 33 publicada. Mapa, exemplo, EX065.
flowchart TD
N0["33.1 Métodos qualitativos"]
N1["33.2 Codificação e concordância"]
N2["33.3 Análise quantitativa reprodutível"]
N3["33.4 Métodos mistos"]
N4["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX065"]
Desenho lógico
flowchart LR
N0["33.1 Métodos qualitativos"]
N1["33.2 Codificação e concordância"]
N2["33.3 Análise quantitativa reprodutível"]
N3["33.4 Métodos mistos"]
N4["Síntese do capítulo"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX065"]
[33.1 Métodos qualitativos]
|
v
[33.2 Codificação e concordância]
|
v
[33.3 Análise quantitativa reprodutível]
|
v
[33.4 Métodos mistos]
|
v
[Síntese do capítulo]
|
v
[Exemplo resolvido] --> [Exercício EX065]
Objetivos de aprendizagem e conexão
Depois deste capítulo, você consegue (1) desenhar entrevistas e análise documental como métodos qualitativos, incluindo a aprovação ética e o consentimento; (2) codificar dados qualitativos com um livro de códigos e conferir a concordância entre codificadores; (3) tornar reprodutível uma análise quantitativa; e (4) combinar evidências qualitativas e quantitativas num desenho de métodos mistos. O capítulo se apoia no Capítulo 18 e prepara o projeto comparativo (Capítulo 34) e o trabalho de conclusão (Capítulos 35–40).
33.1 Métodos qualitativos
Muitas perguntas importantes na segurança de setores críticos tratam de pessoas e organizações: por que os operadores contornam um controle, como as decisões de incidentes foram tomadas, o que os profissionais acreditam que funciona. As entrevistas semiestruturadas seguem um roteiro de perguntas abertas, permitindo aprofundamentos. A análise documental examina planos, relatórios e políticas. As duas exigem aprovação ética da sua instituição quando envolvem pessoas, consentimento informado (os participantes conhecem a finalidade, o que será registrado e como será guardado, e podem desistir) e a proteção dos participantes e das suas organizações: nenhum detalhe que identifique uma pessoa ou exponha uma vulnerabilidade de um operador real deve aparecer na sua monografia. As anotações de entrevistas sobre fraquezas de segurança são dados sensíveis; guarde-as cifradas e apague-as no prazo previsto (Capítulo 14).
33.2 Codificação e concordância
A codificação atribui rótulos a trechos: "recurso ao papel", "dependência de fornecedor", "dono da decisão incerto". Um livro de códigos define cada código com regras de inclusão e exclusão e um exemplo. Para conferir a confiabilidade, duas pessoas codificam a mesma amostra de forma independente e medem a concordância. A concordância percentual bruta superestima a confiabilidade, porque parte da concordância acontece por acaso; o kappa de Cohen corrige isso: $\kappa = (p_o - p_e)/(1 - p_e)$, em que $p_o$ é a concordância observada e $p_e$ a concordância esperada por acaso a partir das frequências de rótulos de cada codificador. As discordâncias não são fracassos; discuti-las afia o livro de códigos.
33.3 Análise quantitativa reprodutível
Uma análise reprodutível mantém os dados brutos inalterados, faz todas as transformações em scripts, registra versões e sementes aleatórias e produz todo número do relatório a partir do código (Sandve et al., 2013). Os laboratórios deste livro seguem essas regras: sementes fixas, só a biblioteca padrão, saídas impressas reproduzidas no texto. Se uma simulação ou um modelo for usado, declare como ele foi conferido contra a realidade — a verificação e a validação de modelos de simulação são uma disciplina própria (Sargent, 2013).
33.4 Métodos mistos
A evidência quantitativa diz quanto; a evidência qualitativa diz como e por quê. Um desenho de métodos mistos poderia contar, em 30 relatórios públicos de incidentes, quantos mencionam o recurso à operação manual (quantitativo) e depois entrevistar quatro operadores sobre o que faz a contingência manual funcionar (qualitativo). A combinação é mais forte que qualquer uma das partes, desde que cada parte seja bem feita e a integração — como uma informa a outra — seja explícita.
No desenho dos 30 relatórios, a ligação é fixada antes da coleta: qualquer condição de contingência que apareça em pelo menos cinco relatórios vira uma pergunta da entrevista.
No exemplo dos 30 relatórios, a contagem diz com que frequência os relatórios mencionam a contingência manual, e as entrevistas explicam por que a contingência às vezes falha, por exemplo porque a equipe não a praticou. Integrar significa que o roteiro de entrevista pergunta sobre as condições que a contagem revelou.
33.5 Exemplo resolvido: codificar relatórios de incidentes (dados sintéticos)
Os dados são sintéticos. Dois estudantes codificam 20 trechos de relatórios de incidentes quanto à presença do código "dono da decisão incerto". Eles concordam em 16 de 20 ($p_o = 0.80$). O estudante A aplicou o código a 8 trechos; o estudante B, a 6. Concordância por acaso: ambos "sim" $= (8/20)(6/20) = 0.12$; ambos "não" $= (12/20)(14/20) = 0.42$; $p_e = 0.54$. Kappa $= (0.80 - 0.54)/(1 - 0.54) = 0.26/0.46 \approx 0.57$ — concordância moderada. Os estudantes revisam as quatro discordâncias, descobrem que um deles codificou "decisão atrasada" como "dono incerto" mesmo quando o dono estava nomeado e apertam a definição: "aplica-se só quando o relatório declara ou mostra que os participantes não sabiam quem detinha a decisão".
33.6 Erros comuns e limites
- Entrevistar profissionais sem aprovação ética ou consentimento.
- Publicar detalhes identificáveis das fraquezas de operadores reais.
- Reportar a concordância percentual como confiabilidade.
- Etapas de análise feitas à mão e não registradas.
- "Métodos mistos" que são dois estudos separados, nunca integrados.
No exemplo de codificação, reportar 80 % de concordância em vez do kappa de 0,57 seria o terceiro erro. Entrevistar engenheiros da CRP sobre acesso remoto sem consentimento e aprovação seria o primeiro, e citar o gateway sem patch de um operador nomeado seria o segundo. Uma planilha editada à mão sem registro seria o quarto.
Exercícios — capítulo 33
EX065 — Calcule o kappa. Objetivo: medir a confiabilidade. Entradas: dois codificadores, 40 trechos, concordam em 34; o codificador A aplicou o código 10 vezes, o codificador B, 12 vezes. Etapas: calcule $p_o$, $p_e$ e $\kappa$ e interprete. Evidência esperada: desenvolvimento e interpretação. Rubrica: 3 = $p_o = 0.85$; $p_e = 0.25 \times 0.30 + 0.75 \times 0.70 = 0.075 + 0.525 = 0.60$; $\kappa = 0.625$, concordância entre moderada e substancial, com a observação de que as escalas de interpretação são convenções; 2 = deslize aritmético; 1 = só $p_o$; 0 = nada.
EX066 — Consentimento e proteção. Objetivo: desenhar um trabalho qualitativo ético. Entradas: plano de entrevistar engenheiros de três operadores da CRP sobre práticas de acesso remoto. Etapas: escreva as informações de consentimento (cinco pontos) e três medidas de proteção de dados. Evidência esperada: listas. Rubrica: 3 = finalidade, participação voluntária/desistência, o que é registrado, armazenamento/retenção, como os resultados são anonimizados, mais cifração, pseudônimos, nenhum detalhe de vulnerabilidade nos produtos/revisão pelo anfitrião; 2 = parcial; 1 = genérico; 0 = nada.
Síntese do capítulo
Os métodos qualitativos respondem ao como e ao por quê; eles precisam de aprovação ética, consentimento e proteção dos participantes e das organizações. Os livros de códigos e o kappa tornam a codificação confiável; os scripts, as sementes e as versões tornam a análise quantitativa reprodutível; os métodos mistos só são tão bons quanto a sua integração.
Continue estudando — capítulo 33 de 40
← Capítulo 32 · Índice de capítulos do curso · Capítulo 34 →
Siga para a próxima lição escrita.