Capítulo 11 — Projeto aplicado

Mapa da aula

Aula 11 publicada. Mapa, exemplo, EX051.

flowchart TD
  N0["11.1 Escolher o projeto"]
  N1["11.2 O termo de abertura do projeto"]
  N2["11.3 Entregar por meio das pessoas"]
  N3["11.4 Avaliar o resultado"]
  N4["11.5 Relatar o projeto"]
  N5["11.6 Rubrica de avaliação"]
  N6["11.8 Atividade prática: funcionou?"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX051"]

Desenho lógico

flowchart LR
  N0["11.1 Escolher o projeto"]
  N1["11.2 O termo de abertura do projeto"]
  N2["11.3 Entregar por meio das pessoas"]
  N3["11.4 Avaliar o resultado"]
  N4["11.5 Relatar o projeto"]
  N5["11.6 Rubrica de avaliação"]
  N6["11.8 Atividade prática: funcionou?"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX051"]

[11.1 Escolher o projeto]
    |
    v
[11.2 O termo de abertura do projeto]
    |
    v
[11.3 Entregar por meio das pessoas]
    |
    v
[11.4 Avaliar o resultado]
    |
    v
[11.5 Relatar o projeto]
    |
    v
[11.6 Rubrica de avaliação]
    |
    v
[11.8 Atividade prática: funcionou?]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX051]

Objetivos de aprendizagem e conexão

Ao final deste capítulo, você deverá ser capaz de:

1. Delimitar uma melhoria de segurança em escala organizacional como um projeto com um tomador de decisão, um objetivo baseado em consequências e benefícios mensuráveis.
2. Planejar a entrega com partes interessadas, riscos, condições de segurança e pontos de verificação.
3. Avaliar o resultado com honestidade, com um grupo de comparação, uma estimativa de diferença em diferenças e uma verificação por permutação.
4. Testar a robustez do resultado de um projeto e relatar seus limites.
5. Apresentar o projeto para avaliação segundo uma rubrica explícita.

O projeto aplicado é onde o curso se torna prática. Ele usa todos os capítulos anteriores: enquadramento e registros de decisão (1), prática atual e verificação (2), evidências (3), risco e ética (4), projeto (5), avaliação controlada (6), integração (7), raciocínio para casos difíceis (8), asseguração (9) e leitura crítica (10). Diferentemente de uma dissertação de mestrado, seu propósito não é responder a uma pergunta de pesquisa para outras pessoas; é melhorar um serviço real e mostrar de modo crível se melhorou. O Capítulo 12 revisa, então, o curso e o transfere.

11.1 Escolher o projeto

Um bom projeto aplicado de pós-graduação é: consequente (muda a exposição de um serviço essencial, não apenas um documento); delimitado (entregável em cerca de dois semestres de trabalho em tempo parcial); com dono (um patrocinador nomeado com autoridade e responsáveis operacionais que o querem); mensurável (um benefício que possa ser observado, de preferência em unidades de serviço); seguro e autorizado (não cria risco não aprovado para as operações, as pessoas ou os dados); e avaliável (há um modo de comparar com o que teria acontecido sem ele). Projetos típicos: prontidão para operação manual num grupo de instalações; acesso intermediado de fornecedores para um sistema de controle; uma capacidade de restauração para sistemas clínicos; um plano regional de concentração de fornecedores. Se você não trabalha no setor, o projeto pode ser realizado sobre um caso sintético realista como Merrow Bay, com as mesmas entregas.

11.2 O termo de abertura do projeto

Um termo de abertura de uma página fixa: o problema e sua consequência; o patrocinador e os direitos de decisão; objetivos e benefícios, com medidas e linhas de base; escopo e exclusões; entregas; partes interessadas; restrições (segurança, orçamento, regulação); riscos; o desenho da avaliação; marcos e pontos de verificação; e a rubrica de avaliação. Escrever o desenho da avaliação no termo antes da entrega é o equivalente, no projeto, ao pré-registro (Nosek et al., 2018): protege o especialista da tentação de escolher, depois, a medida que parece melhor (Kerr, 1998).

11.3 Entregar por meio das pessoas

A maioria dos projetos de segurança em serviços essenciais fracassa na adoção, não na tecnologia. Mapeie as partes interessadas por influência e interesse; combine com as operações como e quando as mudanças tocam a planta; planeje treinamento e prática supervisionada; e antecipe quem perde algo (conveniência, autonomia, orçamento). Um pré-mortem no início (Klein, 2007) faz surgir cedo os riscos de adoção. Mantenha um registro de decisões do projeto no formato do Capítulo 1, para que revisores posteriores possam ver por que o plano mudou.

Na Merrow Water, as pessoas mais afetadas pelo projeto do runbook são os operadores de turno, que precisam praticar a operação manual em simulados trimestrais além do trabalho normal. Combinar os horários dos simulados com os gerentes de turno e usar o retorno deles para revisar o runbook torna a adoção muito mais provável do que emiti-lo a partir da sede.

11.4 Avaliar o resultado

As comparações antes e depois são sedutoras e fracas: o desfecho pode ter melhorado de qualquer forma, por causa da estação, da prática, de novos funcionários ou de outros projetos. Um desenho mais forte e prático é a diferença em diferenças (DiD): comparar a mudança nas instalações que receberam o projeto (piloto) com a mudança em instalações semelhantes que não o receberam (comparação), no mesmo período. A estimativa é (piloto depois − piloto antes) − (comparação depois − comparação antes). Seu pressuposto central são as tendências paralelas: sem o projeto, as instalações piloto e as de comparação teriam mudado na mesma medida. O desenho foi popularizado na economia por um estudo conhecido que comparou o emprego em estados vizinhos (Card e Krueger, 1994); aplica-se igualmente aos tempos de simulado ou aos tempos de recuperação entre instalações.

Com poucas instalações, os erros-padrão comuns não são confiáveis. Uma verificação por permutação é simples e honesta: calcule a DiD para todas as formas possíveis de escolher quais instalações foram "piloto" e pergunte quão incomum é a estimativa da atribuição real. Se muitas atribuições aleatórias produzirem estimativas igualmente grandes, o resultado pode ser acaso. Por fim, teste a robustez: retire a instalação mais influente, use uma definição diferente de desfecho ou verifique se as instalações piloto e as de comparação já divergiam antes do projeto.

11.5 Relatar o projeto

O relatório final declara o problema, o que foi feito, o que mudou, quão seguros estamos e o que resta. Ele relata primeiro a medida pré-especificada; as análises adicionais são rotuladas como exploratórias. As limitações são escritas com sua direção — essa fraqueza faria o efeito parecer maior ou menor? —, para que os leitores possam julgar o resultado. Os benefícios que não puderam ser medidos são descritos, não inventados. O relatório termina com a passagem de responsabilidade: responsáveis, manutenção, as evidências de asseguração que manterão a alegação atual (Capítulo 9) e o gatilho de revisão.

11.6 Rubrica de avaliação

Os projetos são avaliados segundo cinco critérios, cada um pontuado de 0 a 3:

Tabela da aula; deslize para ver todas as colunas →

11.7 Exemplo resolvido: o projeto do runbook de operação manual (sintético)

O especialista da Merrow Water conduziu um projeto para introduzir um runbook de operação manual e simulados trimestrais em seis estações (piloto), escolhidas por terem os sistemas de controle mais antigos; outras seis estações continuaram como antes (comparação). O desfecho pré-especificado foi a média de minutos até uma operação manual estável nos simulados trimestrais, calculada sobre dois trimestres antes e dois depois. O termo de abertura pré-especificou a DiD com uma verificação por permutação e uma verificação de robustez que retira a instalação mais influente.

Escolher as instalações piloto pelos sistemas de controle antigos foi sensato para o serviço, porque eram essas estações que mais precisavam do runbook, mas significa que os grupos piloto e de comparação não eram parecidos no início. É por isso que o termo exigiu diferença em diferenças, e não uma comparação apenas posterior, e por isso as tendências paralelas precisam ser argumentadas, não presumidas. Espera-se que as seis estações de comparação recebam o runbook na próxima fase, o que dá uma oportunidade posterior de testar o resultado.

11.8 Atividade prática: funcionou?

# Lab 11 - did the project work? Difference-in-differences with a permutation check (offline, stdlib only)
# Synthetic: Merrow Water piloted a manual-operation runbook and drills at six works (pilot) and not at six others.
# Outcome: mean minutes to stable manual operation in quarterly drills, two quarters before and two after.
from itertools import combinations
SITES = {  # site: (pilot?, mean minutes before, mean minutes after)
    "Hollin": (1, 41, 27), "Fenley": (1, 38, 29), "Upper Merrow": (1, 55, 36), "Kettle Ford": (1, 33, 28),
    "Ashby": (1, 47, 35), "Saltings": (1, 36, 30),
    "Brack": (0, 39, 35), "Dunmere": (0, 44, 40), "Orrin": (0, 35, 34), "Pelling": (0, 50, 43),
    "Quarry Lane": (0, 31, 30), "Rook": (0, 42, 36),
}
def did(treated):
    t = [SITES[s][2] - SITES[s][1] for s in SITES if s in treated]
    c = [SITES[s][2] - SITES[s][1] for s in SITES if s not in treated]
    return sum(t) / len(t) - sum(c) / len(c), sum(t) / len(t), sum(c) / len(c)
pilot = {s for s, v in SITES.items() if v[0]}
est, dt, dc = did(pilot)
print(f"pilot change {dt:+.2f} min, comparison change {dc:+.2f} min, difference-in-differences {est:+.2f} min")
naive = sum(SITES[s][2] for s in pilot) / 6 - sum(SITES[s][2] for s in SITES if s not in pilot) / 6
print(f"naive after-only difference {naive:+.2f} min")
allc = [did(set(c))[0] for c in combinations(SITES, 6)]
p = sum(1 for d in allc if d <= est) / len(allc)
print(f"permutation: {len(allc)} assignments; share with DiD <= observed = {p:.4f}")
# Sensitivity: drop the site with the largest pilot improvement
big = min(pilot, key=lambda s: SITES[s][2] - SITES[s][1])
rest = {s: SITES[s] for s in SITES if s != big}
t = [v[2]-v[1] for s, v in rest.items() if v[0]]; c = [v[2]-v[1] for s, v in rest.items() if not v[0]]
print(f"without {big}: DiD {sum(t)/len(t) - sum(c)/len(c):+.2f} min")

Saída esperada:

pilot change -10.83 min, comparison change -3.83 min, difference-in-differences -7.00 min
naive after-only difference -5.50 min
permutation: 924 assignments; share with DiD <= observed = 0.0087
without Upper Merrow: DiD -5.37 min

Interpretação. As instalações piloto melhoraram 10,8 minutos em média; as de comparação, 3,8 minutos, provavelmente pela prática e pela conscientização gerais. A estimativa por DiD é uma melhoria de 7,0 minutos atribuível ao projeto sob o pressuposto de tendências paralelas. Uma comparação ingênua apenas posterior (5,5 minutos) a subestimaria, porque as instalações piloto começaram mais lentas — foram escolhidas por seus sistemas antigos. Das 924 atribuições possíveis de seis instalações "piloto", menos de 1% produz uma melhoria tão grande quanto a real, de modo que o acaso é uma explicação improvável. Retirar Upper Merrow, a instalação com a maior melhoria, reduz a estimativa para 5,4 minutos: o resultado é robusto em direção, mas sensível em tamanho a uma única instalação. O relatório deve declarar "cerca de 5 a 7 minutos mais rápido, principalmente, mas não apenas, impulsionado por Upper Merrow", observar que as instalações piloto foram selecionadas pelos sistemas antigos (de modo que as tendências paralelas são um pressuposto a defender) e recomendar estender o runbook às instalações de comparação com a mesma avaliação.

11.9 Erros comuns e limites

• Escolher um projeto por ser interessante, e não por sua consequência.
• Começar sem um patrocinador que possa tomar decisões.
• Definir a medida de sucesso depois de ver os resultados.
• Avaliar apenas com antes e depois.
• Relatar uma única estimativa sem verificação de acaso nem teste de robustez.
• Listar limitações sem sua direção.
• Terminar sem passagem de responsabilidade, de modo que o benefício se deteriora.

Com uma dúzia de instalações, nenhuma avaliação é definitiva. A avaliação do projeto deve ser honesta sobre isso e desenhada para que a próxima fase (por exemplo, a implantação escalonada nas instalações de comparação) produza mais evidências.

Exercícios — capítulo 11

EX051 — Termo de abertura do projeto. Objetivo: delimitar o seu próprio projeto aplicado. Insumos: sua organização, ou Merrow Bay. Restrições: uma página; todos os elementos do termo da §11.2; avaliação pré-especificada. Passos: escrever o termo. Evidência esperada: termo de abertura. Rubrica: usar os critérios "Enquadramento" e "Ética e segurança" da §11.6; 3 = consequente, delimitado, com dono, mensurável, seguro e avaliável, com uma comparação nomeada; 2 = avaliação vaga; 1 = atividade em vez de resultado; 0 = nada.

EX052 — Robustez do resultado da permutação. Objetivo: verificar a sensibilidade a uma instalação. Insumos: Laboratório 11. Restrições: remover Upper Merrow inteiramente dos dados (11 instalações, 5 piloto). Passos: (1) recalcular a DiD; (2) recalcular a proporção da permutação sobre todas as atribuições de 5 pilotos entre 11 instalações; (3) interpretar. Evidência esperada: números e parágrafo. Rubrica: 3 = DiD de −5,37 minutos, 462 atribuições, proporção de cerca de 0,017; interpretação de que o resultado continua improvável sob o acaso, mas é mais fraco, com a direção da limitação de seleção; 2 = números certos, interpretação rasa; 1 = não executado; 0 = nada.

EX053 — Plano de partes interessadas e de adoção. Objetivo: planejar a entrega por meio das pessoas. Insumos: o projeto do runbook. Restrições: incluir os turnos noturnos e os terceirizados. Passos: mapear as partes interessadas; identificar quem perde o quê; planejar treinamento, prática supervisionada e retorno; conduzir um pré-mortem curto e listar três histórias de fracasso com mitigações. Evidência esperada: plano. Rubrica: 3 = partes interessadas específicas, perdas reconhecidas, treinamento baseado em prática, histórias de pré-mortem críveis; 2 = sem pré-mortem; 1 = apenas um plano de comunicação; 0 = nada.

EX054 — Limitações com direção. Objetivo: escrever limitações que ajudem os leitores a julgar. Insumos: resultado do Laboratório 11. Restrições: pelo menos cinco limitações, cada uma com direção e com o modo como uma fase posterior poderia tratá-la. Passos: escrevê-las. Evidência esperada: lista. Rubrica: 3 = seleção das instalações piloto, regressão à média (instalações lentas melhoram mais de qualquer forma — inflaria), efeitos de prática, amostra pequena, realismo dos simulados frente a eventos reais, contaminação das instalações de comparação; direções corretas; 2 = direções ausentes; 1 = genéricas; 0 = nada.

EX055 — Passagem de responsabilidade e benefícios. Objetivo: fazer os benefícios durarem. Insumos: o projeto do runbook na conclusão. Restrições: usar as ideias de caso de asseguração e de atualidade do Capítulo 9. Passos: (1) nomear os responsáveis; (2) definir a alegação de asseguração e as evidências, com idades máximas; (3) definir um indicador para o conselho com uma base XmR; (4) definir o gatilho de revisão. Evidência esperada: nota de passagem de responsabilidade. Rubrica: 3 = responsáveis operacionais, evidências de grau verificado com idades, indicador com o período de base declarado, gatilho específico; 2 = falta um elemento; 1 = "projeto encerrado"; 0 = nada.

Síntese do capítulo

Um projeto aplicado melhora um serviço real e mostra de modo crível se melhorou. Escolha algo consequente, delimitado, com dono, mensurável, seguro e avaliável; fixe a avaliação num termo de abertura antes da entrega; entregue por meio das pessoas, com o consentimento das operações e um pré-mortem; avalie com um grupo de comparação, diferença em diferenças, uma verificação por permutação e testes de robustez; relate as limitações com sua direção; e faça a passagem de responsabilidade com responsáveis, evidências de asseguração e um gatilho de revisão.