Capítulo 7 — Redação da dissertação e limitações

Capítulo 7 — Redação da dissertação e limitações

Mapa da aula

Aula 07 publicada. Mapa, exemplo, EX039.

flowchart TD
  N0["7.1 Estrutura: uma função por capítulo"]
  N1["7.2 O argumento e o registro de resultados e alegaçõ"]
  N2["7.3 Relatando os resultados com honestidade"]
  N3["7.4 Proveniência dos números"]
  N4["7.5 Diretrizes de relato como listas de verificação"]
  N5["7.6 Limitações com direção"]
  N6["7.7 Figuras e tabelas acessíveis"]
  N7["7.8 Disponibilidade de dados e código sob sensibilid"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX039"]

Desenho lógico

flowchart LR
  N0["7.1 Estrutura: uma função por capítulo"]
  N1["7.2 O argumento e o registro de resultados e alegaçõ"]
  N2["7.3 Relatando os resultados com honestidade"]
  N3["7.4 Proveniência dos números"]
  N4["7.5 Diretrizes de relato como listas de verificação"]
  N5["7.6 Limitações com direção"]
  N6["7.7 Figuras e tabelas acessíveis"]
  N7["7.8 Disponibilidade de dados e código sob sensibilid"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX039"]

[7.1 Estrutura: uma função por capítulo]
    |
    v
[7.2 O argumento e o registro de resultados e alegaçõ]
    |
    v
[7.3 Relatando os resultados com honestidade]
    |
    v
[7.4 Proveniência dos números]
    |
    v
[7.5 Diretrizes de relato como listas de verificação]
    |
    v
[7.6 Limitações com direção]
    |
    v
[7.7 Figuras e tabelas acessíveis]
    |
    v
[7.8 Disponibilidade de dados e código sob sensibilid]
    |
    v
[Exemplo resolvido] --> [Exercício EX039]

Objetivos de aprendizagem e conexão

Ao fim deste capítulo, o estudante será capaz de:

1. Estruturar uma dissertação de mestrado empírica de modo que cada capítulo tenha uma única função e o argumento corra visivelmente da pergunta à conclusão.
2. Manter um registro de resultados e alegações que ligue cada alegação do resumo, da discussão e da conclusão a um resultado específico e aos seus limites.
3. Relatar as estimativas com a sua incerteza, evitar a linguagem dicotômica da "significância" e calibrar os verbos causais ao desenho.
4. Tornar cada número do texto rastreável até a saída da análise e verificá-lo com um script.
5. Usar diretrizes de relato para dados observacionais, dados coletados rotineiramente e dados qualitativos como listas de verificação.
6. Escrever limitações que declarem a direção e o tamanho provável de cada viés e o que o resolveria.
7. Produzir figuras e tabelas acessíveis e uma declaração de disponibilidade de dados e código que respeite a sensibilidade da informação.

Este capítulo transforma os Capítulos 1–6 num documento que um examinador pode avaliar. O Capítulo 8 prepara essa avaliação.

7.1 Estrutura: uma função por capítulo

Uma dissertação de mestrado empírica típica tem as partes a seguir. Os limites de palavras variam conforme a instituição; as proporções abaixo são um ponto de partida comum para uma dissertação de 20.000 palavras. O que importa não é a proporção exata, mas que cada parte faça apenas a sua função e não invada a das outras.

Escreva primeiro os métodos (eles já estão no plano de pré-análise), depois os resultados, depois a discussão, e a introdução e o resumo por último, quando você souber o que a dissertação de fato mostra. Muitas dissertações fracas são fracas porque a introdução foi escrita primeiro e prometeu uma constatação que os resultados não entregaram.

7.2 O argumento e o registro de resultados e alegações

Os examinadores seguem o fio que vai das perguntas do Capítulo 1 às respostas da conclusão. Torne-o visível: cada pergunta de pesquisa é respondida explicitamente na discussão, com a mesma redação, e a conclusão repete essas respostas na sua forma delimitada.

Um registro de resultados e alegações é uma tabela que você mantém enquanto escreve e anexa como apêndice ou usa em privado antes da entrega. Cada linha é uma alegação que aparece em algum ponto da dissertação:

O registro capta a falha mais comum: uma alegação que cresceu no caminho dos resultados ao resumo.

7.3 Relatando os resultados com honestidade

7.3.1 Estimativas e intervalos, não veredictos

Relate a estimativa, o seu intervalo e o que o intervalo descarta. "As chegadas a Alder Point subiram 24,4% (intervalo de 95% de 6,7% a 44,9%)" carrega informação; "um aumento estatisticamente significativo (p < 0,05)" carrega menos e convida a leituras erradas. A declaração da American Statistical Association sobre os valores-p (Wasserstein e Lazar, 2016) estabelece princípios, entre eles o de que os valores-p não medem a probabilidade de uma hipótese ser verdadeira, o de que as conclusões científicas não devem se apoiar apenas em um valor-p ultrapassar um limiar e o de que um valor-p não mede o tamanho nem a importância de um efeito. Para um resultado inconclusivo, relate o que o intervalo exclui: o intervalo de Calloway exclui aumentos acima de cerca de 12%; o de Brookfield não exclui nem o zero nem um aumento de 20%.

7.3.2 Verbos calibrados

A linguagem causal não é proibida; uma ITS controlada é um desenho causal. Ela precisa vir acompanhada dos seus pressupostos no mesmo parágrafo.

7.3.3 Multiplicidade

O Spillover Study teve um desfecho primário (chegadas), três locais e um desfecho secundário. Declare nos métodos quais estimativas são primárias, relate todas e não selecione a mais chamativa para o resumo. Quando muitos desfechos são examinados, alguns parecerão notáveis por acaso; o desfecho primário pré-especificado é a defesa.

7.4 Proveniência dos números

Cada número do texto deve vir da saída da análise, e não da memória ou de uma minuta anterior. Três práticas ajudam: gerar as tabelas de resultados diretamente a partir dos scripts; manter um arquivo de resultados legível por máquina da execução final; e conferir o texto contra ele antes da entrega. O Laboratório 7 abaixo automatiza uma primeira passada.

O arredondamento merece uma regra própria. A estimativa principal do Spillover Study é 24,4% na Tabela 4.2 e 24% no resumo reescrito; as duas só estão corretas se a dissertação declarar que o resumo arredonda para percentuais inteiros. Mantenha a mesma precisão para a mesma grandeza em todos os capítulos e registre as unidades ao lado de cada valor no arquivo de resultados, para que um percentual não possa ser confundido com uma contagem de minutos. Quando um número muda numa reexecução tardia, procure o valor antigo no texto inteiro, incluindo as legendas, o resumo e os apêndices, antes de reenviar a minuta.

7.5 Diretrizes de relato como listas de verificação

As diretrizes de relato listam o que um leitor precisa para avaliar um estudo; usá-las como lista de verificação durante a redação evita omissões. As pertinentes a este campo:

• STROBE, para estudos observacionais (von Elm et al., 2007).
• RECORD, sua extensão para estudos que usam dados de saúde coletados rotineiramente (Benchimol et al., 2015) — pertinente sempre que os dados vêm de sistemas operacionais não desenhados para a pesquisa, o que quase sempre é verdade na pesquisa de infraestrutura.
• SRQR (O'Brien et al., 2014) e COREQ (Tong, Sainsbury e Craig, 2007), para pesquisa qualitativa e entrevistas.
• Para séries temporais interrompidas não há um padrão de relato único; Lopez Bernal et al. (2017) e a revisão metodológica de Hategeka et al. (2020) identificam o que os leitores precisam: o modelo de impacto, o tratamento da autocorrelação, da sazonalidade e das tendências, e a série de controle.

Anexe as listas de verificação preenchidas como apêndices, com referências às páginas ou seções.

7.6 Limitações com direção

Uma lista de fraquezas ("amostra pequena; uma região; possível confundimento") não diz a um examinador nada que ele não pudesse ter adivinhado. Uma limitação com direção declara o problema, o seu efeito provável sobre a estimativa principal (direção e tamanho aproximado), o que o estudo fez a respeito e o que o resolveria.

7.7 Figuras e tabelas acessíveis

Siga as expectativas do padrão do livro no seu próprio trabalho: cada figura tem uma legenda que declara a sua mensagem e uma alternativa textual que transmite o seu conteúdo a um leitor que não pode vê-la; a cor nunca é o único portador de significado; as tabelas têm cabeçalhos descritivos e, quando complexas, um resumo de uma frase em linguagem simples. A alternativa textual de uma figura de estudo de evento poderia dizer: "Razão logarítmica diária entre as chegadas de Alder Point e as de Wexmoor, dias −180 a +89, com a tendência ajustada. A razão é plana antes do dia 0, sobe cerca de 0,2 na escala logarítmica durante os dias 0–20 e volta para perto da tendência depois do dia 34." Escreva os números no texto com a mesma precisão das tabelas.

7.8 Disponibilidade de dados e código sob sensibilidade

Os estudos de infraestrutura muitas vezes não podem liberar os seus dados. Diga o que está disponível, em que nível, e por que o resto não está:

O código e os dados de teste sintéticos estão disponíveis no repositório do projeto [link], sob CC0. Os agregados diários dos DEs foram fornecidos pelos hospitais participantes sob acordos de dados que não permitem a redistribuição; os pesquisadores podem solicitar acesso aos custodiantes, cujas vias de contato estão listadas no Apêndice C. As transcrições das entrevistas não estão disponíveis porque se prometeu confidencialidade aos participantes e alguns poderiam ser identificados pela função. Os números de capacidade por instalação foram retidos por seu potencial de auxiliar na definição de alvos; os resumos regionais são relatados no Capítulo 4.

Uma declaração como esta atende ao espírito dos princípios FAIR para o que pode ser compartilhado e é honesta sobre o que não pode.

7.9 Exemplo resolvido: reescrevendo o resumo (sintético)

O primeiro resumo do candidato terminava assim: "Este estudo prova que os ataques de ransomware aumentam significativamente a superlotação dos departamentos de emergência em toda a região, demonstrando a necessidade urgente de investimento em ciber-resiliência." O registro de resultados e alegações sinalizou quatro problemas: "prova" (o desenho sustenta uma estimação sob pressupostos); "ransomware" (a exposição foi o desvio); "em toda a região" (só o DE mais próximo mostrou um aumento claro); "necessidade urgente de investimento" (o estudo não avaliou nenhum investimento). Conclusão reescrita do resumo:

Durante um desvio de ambulâncias de 21 dias induzido por ransomware, numa região sintética, as chegadas de ambulâncias ao departamento de emergência vizinho mais próximo subiram cerca de 24% (intervalo de 95% de 7% a 45%) em relação a uma região de comparação não afetada; as estimativas nos departamentos mais distantes foram pequenas e inconclusivas. As entrevistas indicaram que as ambulâncias desviadas seguiram a geografia viária e que os vizinhos souberam do desvio informalmente. Os planos regionais de desvio podem precisar de arranjos explícitos de compartilhamento da carga e de notificação; se eles reduzem a sobrecarga não foi testado.

7.10 Atividade prática: proveniência dos números

O laboratório guarda os resultados do Laboratório 6 e um parágrafo de minuta escrito em parte de memória. Ele extrai todos os números do texto, verifica se cada um corresponde a um resultado registrado (admitindo arredondamento) e sinaliza a redação que exagera. Salve-o como lab7_provenance.py: a resposta resolvida do EX039 lê a minuta a partir desse arquivo.

# Lab 7 - every number in the results text must trace to the analysis output (offline)
# RESULTS mirrors the Lab 6 output; DRAFT is a synthetic dissertation paragraph written from memory.
import re

RESULTS = {                      # value, as a percentage or a count, from the analysis log
    "AP_effect": 24.4, "AP_lo": 6.7, "AP_hi": 44.9,
    "BF_effect": 5.8, "BF_lo": -6.7, "BF_hi": 19.9,
    "CG_effect": 0.8, "CG_lo": -9.3, "CG_hi": 12.1,
    "AP_naive": 33.0, "placebo_n": 15, "event_days": 21,
}
DRAFT = """During the 21-day diversion, ambulance arrivals at Alder Point rose by 24.4%
(95% interval 6.7% to 44.9%) relative to the Wexmoor comparison hospitals, larger than any of
the 16 placebo windows. Brookfield rose by 5.8% (-6.7% to 19.9%) and Calloway by 0.8%.
A simple before-and-after comparison would have suggested a 33% rise. The attack caused
a significant increase in arrivals at Brookfield, and waiting times rose by 6 minutes."""
CAUSAL = ("caused", "proves", "significant increase", "due to the attack")

values = set(RESULTS.values())
def traced(x):
    return any(abs(x - v) <= 0.05 or (float(x).is_integer() and abs(x - round(v)) == 0) for v in values)

problems = []
for m in re.finditer(r"-?\d+(?:\.\d+)?", DRAFT):
    x = float(m.group())
    if x == 95:                  # the interval level, declared in the methods
        continue
    if not traced(x):
        problems.append(f"untraced number {m.group()!r}")
for phrase in CAUSAL:
    if phrase in DRAFT.lower():
        problems.append(f"check wording: {phrase!r}")
print("\n".join(problems) if problems else "all numbers traced")

Saída esperada:

untraced number '16'
check wording: 'caused'
check wording: 'significant increase'

A verificação encontrou três problemas: "16 placebo windows" (eram 15; 16 é o denominador do posto), "caused" e "significant increase" aplicados a Brookfield, cujo resultado é inconclusivo. Ela deixou passar dois: "waiting times rose by 6 minutes" passou apenas porque 6 corresponde ao percentual arredondado de Brookfield (5,8%) — uma falsa correspondência entre unidades —, e o resultado do tempo de espera nem está em RESULTS; e a estimativa de Calloway é dada sem o seu intervalo. Um script é uma primeira passada: ele capta erros de transcrição a baixo custo, mas só um leitor com o registro de resultados e alegações capta uma alegação errada em substância. O EX039 pede que você melhore a verificação.

7.11 Erros comuns e limites

• Escrever a introdução primeiro e deixar que ela prometa resultados.
• Alegações que crescem entre os resultados, a discussão e o resumo.
• "Estatisticamente significativo" como conclusão; "não significativo" como "nenhum efeito".
• Verbos causais sem pressupostos, ou timidez causal quando o desenho sustenta uma estimativa causal qualificada.
• Números digitados de memória; tabelas coladas de uma execução anterior.
• Uma seção de limitações que lista fraquezas sem direção nem resolução.
• Figuras sem alternativas textuais; codificações apenas por cor.
• Declarações de dados que prometem uma disponibilidade que os acordos não permitem, ou que publicam números sensíveis por instalação.

O limite da boa redação é que ela não consegue salvar um desenho fraco; sua função é tornar visíveis as forças e as fraquezas do desenho, para que os leitores possam julgar as alegações corretamente.

Exercícios — capítulo 7

EX039 — Melhore a verificação de proveniência. Objetivo: usar e estender o Laboratório 7. Insumos: o código do laboratório. Restrições: off-line. Passos: (1) executar o laboratório e registrar a saída; (2) alterar a verificação para que cada número seja comparado apenas com resultados da mesma unidade (percentual ou minutos), usando a palavra que segue o número; (3) acrescentar a RESULTS o resultado do tempo de espera (5,9 minutos, intervalo de 2,6 a 9,2) com a sua unidade; (4) acrescentar uma verificação de que cada estimativa de local é seguida de um intervalo; (5) reescrever a minuta para que a verificação passe e o texto fique exato. Evidência esperada: código, saída e parágrafo corrigido. Rubrica: 3 = a correspondência por unidade capta a falsa correspondência minutos/percentual, o intervalo ausente de Calloway é sinalizado, o parágrafo corrigido tem números exatos, verbos calibrados e Brookfield descrito como inconclusivo; 2 = falta uma verificação; 1 = apenas o texto corrigido; 0 = nada.

EX040 — Limitações com direção. Objetivo: escrever limitações que informem. Insumos: um estudo sintético que estima o efeito de uma interrupção de um processador de pagamentos sobre as dispensações de receitas em farmácias, usando dados semanais de uma única rede. Restrições: pelo menos cinco limitações no formato de §7.6. Passos: para cada uma, declarar a direção provável e o tamanho aproximado do viés, o que foi feito e o que a resolveria; ordená-las pela ameaça à conclusão principal. Evidência esperada: tabela e ordenação. Rubrica: 3 = direções fundamentadas (por exemplo, a resolução semanal dilui um efeito de três dias em direção a zero; os clientes de uma rede podem migrar para os concorrentes, o que superestimaria a queda do total de dispensações), ordenação justificada; 2 = falta uma direção; 1 = lista sem direção; 0 = nada.

EX041 — Resumo estruturado. Objetivo: comprimir sem exagerar. Insumos: a saída do Laboratório 6 e §6.6.4. Restrições: 300 palavras; contexto, objetivo, desenho, cenário, desfechos, resultados com intervalos, conclusões, principal limitação; status sintético declarado. Passos: (1) redigir; (2) conferir cada alegação contra o registro de resultados e alegações; (3) pedir a um colega que identifique a principal limitação apenas a partir do resumo. Evidência esperada: resumo e trecho do registro. Rubrica: 3 = números exatos com intervalos, exposição corretamente nomeada como o desvio, locais distantes descritos como inconclusivos, limitação explícita, status sintético declarado; 2 = um exagero; 1 = sem intervalos; 0 = nada.

EX042 — Mapeamento da lista de verificação de relato. Objetivo: usar as diretrizes como listas de verificação. Insumos: a declaração RECORD e os métodos do Spillover Study tal como descritos nos Capítulos 3, 5 e 6. Restrições: mapear pelo menos oito itens. Passos: (1) listar oito itens do RECORD ou do STROBE pertinentes ao estudo; (2) indicar a seção que trata de cada um; (3) identificar qualquer item que o estudo ainda não trate e redigir o texto faltante. Evidência esperada: tabela de mapeamento e texto redigido. Rubrica: 3 = itens corretamente escolhidos (fontes de dados, validação dos códigos, vinculação, limpeza dos dados, acesso à população), seções exatas, uma lacuna genuína encontrada (por exemplo, como foram validadas as definições de chegada de ambulância dos custodiantes) e tratada; 2 = mapeamento superficial; 1 = lista copiada sem mapeamento; 0 = nada.

EX043 — Declaração de disponibilidade. Objetivo: ser aberto dentro das restrições. Insumos: os níveis de sensibilidade do Capítulo 3 e um pedido de uma revista para que "todos os dados sejam disponibilizados publicamente". Restrições: um parágrafo mais uma resposta de duas frases ao editor. Passos: (1) listar o que pode ser liberado, em que nível; (2) escrever a declaração; (3) escrever a resposta explicando o que é retido e por quê, oferecendo uma alternativa (por exemplo, o acesso por meio dos custodiantes, ou dados sintéticos com a mesma estrutura). Evidência esperada: declaração e resposta. Rubrica: 3 = tudo o que é liberável é liberado, itens retidos justificados pelos acordos, pelo consentimento ou pelo risco de definição de alvos, via alternativa de acesso concreta; 2 = vago quanto às vias; 1 = promete liberar dados restritos; 0 = nada.

EX044 — Figura acessível. Objetivo: comunicar um resultado a todos os leitores. Insumos: as estimativas do Laboratório 6 para os três locais. Restrições: uma descrição da figura (não é preciso desenhá-la), legenda, alternativa textual e resumo em linguagem simples; nenhuma codificação apenas por cor. Passos: (1) escolher um tipo de figura (por exemplo, estimativas com barras de intervalo contra a distância); (2) escrever a legenda declarando a mensagem; (3) escrever a alternativa textual com todos os valores; (4) escrever um resumo de uma frase em linguagem simples. Evidência esperada: os quatro textos. Rubrica: 3 = tipo de figura adequado à comparação, legenda declara a mensagem e as estimativas distantes inconclusivas, alternativa textual completa, resumo exato para um não especialista; 2 = um texto incompleto; 1 = a legenda descreve em vez de informar; 0 = nada.

Síntese do capítulo

Dê a cada parte da dissertação uma única função e escreva-as na ordem que mantém as promessas honestas: métodos, resultados, discussão e, depois, introdução e resumo. Mantenha um registro de resultados e alegações para que as alegações não possam crescer no caminho até o resumo. Relate as estimativas com intervalos e com o que elas excluem; evite veredictos de significância; calibre os verbos causais ao desenho e declare os pressupostos junto com eles. Torne cada número rastreável e verifique-o com um script, sabendo que os scripts captam erros de transcrição, mas não alegações erradas. Use STROBE, RECORD, SRQR e COREQ como listas de verificação. Escreva as limitações com direção e resolução. Torne as figuras acessíveis e declare a disponibilidade dos dados com honestidade, dentro das restrições dos acordos, do consentimento e da sensibilidade da infraestrutura.

Continue estudando — capítulo 07 de 08

← Capítulo 06 · Índice de capítulos do curso · Capítulo 08 →

Siga para a próxima lição escrita.