Capítulo 6 — Arquitetura e engenharia de segurança: avaliação controlada

Capítulo 6 — Arquitetura e engenharia de segurança: avaliação controlada

Mapa da aula

Aula 06 publicada. Mapa, exemplo, EX026.

flowchart TD
  N0["6.1 Desenhar o piloto"]
  N1["6.2 Medir"]
  N2["6.3 Interpretar com cuidado"]
  N3["Síntese"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX026"]

Desenho lógico

flowchart LR
  N0["6.1 Desenhar o piloto"]
  N1["6.2 Medir"]
  N2["6.3 Interpretar com cuidado"]
  N3["Síntese"]
  N0 --> N1 --> N2 --> N3 --> Q["EX026"]

[6.1 Desenhar o piloto]
    |
    v
[6.2 Medir]
    |
    v
[6.3 Interpretar com cuidado]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX026]

Objetivos de aprendizagem

Você vai (1) desenhar um piloto controlado do projeto híbrido; (2) medir os resultados contra um grupo de comparação; (3) interpretar com cuidado resultados limitados.

6.1 Desenhar o piloto

Antes de implantar o projeto híbrido nas vinte e duas clínicas, Priya conduz um piloto em seis clínicas, sorteadas entre clínicas de tamanho e conectividade semelhantes, enquanto outras seis continuam como antes. Ela define os resultados de antemão: minutos de indisponibilidade do acesso por clínica por mês, tempo de login da equipe e chamados ao help desk sobre acesso. A escolha aleatória das clínicas do piloto a impede de escolher os locais mais fáceis. Wohlin e colegas (2012) descrevem esse tipo de comparação controlada e as ameaças à validade que ela precisa tratar.

6.2 Medir

Ao longo de três meses, as clínicas do piloto registram uma média de onze minutos de indisponibilidade por mês, contra trinta e quatro nas clínicas de comparação, principalmente porque desaparecem as indisponibilidades por expiração de certificados. O tempo de login sobe quatro segundos por causa de uma etapa extra de identidade. Os chamados ao help desk sobem no primeiro mês e depois caem abaixo do nível de comparação. Priya relata cada resultado com o número de clínicas e de meses por trás dele, para que os leitores vejam quão pequena é a amostra. Ela também registra um teste de contingência em cada clínica do piloto.

6.3 Interpretar com cuidado

Seis clínicas ao longo de três meses é uma amostra pequena. Priya escreve que os resultados são consistentes com uma disponibilidade melhor e um impacto aceitável sobre a equipe, mas que um único mês ruim poderia mudar o quadro. Ela recomenda uma implantação escalonada com medição contínua, em vez de uma mudança big-bang. O conselho concorda. A Dra. Voss destaca que resultados definidos de antemão, escolha aleatória e relato honesto da amostra são o que tornam um piloto convincente, mais do que o tamanho da melhoria em si. Os números mensais completos são publicados num apêndice para quem quiser conferi-los.

Exemplo resolvido

Priya pilota o projeto híbrido em seis clínicas sorteadas, mede três resultados definidos de antemão contra seis clínicas de comparação e recomenda uma implantação escalonada.

Caso sintético. As clínicas e os números são sintéticos; Wohlin et al. (2012) é real.

Erros e limites

Amostras pequenas são frágeis. A equipe pode se comportar de outro modo quando sabe que está num piloto.

Exercícios

• EX026 — Escolher por sorteio. Por que sortear as clínicas do piloto? Rubrica: 3 = para impedir a escolha dos locais mais fáceis;; 2 = viés;; 1 = conveniência;; 0 = nenhuma.

• EX027 — Resultado de indisponibilidade. Quantos minutos mensais de indisponibilidade tiveram as clínicas do piloto e as de comparação? Rubrica: 3 = onze contra trinta e quatro;; 2 = menos;; 1 = vago;; 0 = nenhuma.

• EX028 — Custo para a equipe. Que custo para a equipe o piloto mostrou? Rubrica: 3 = o login subiu quatro segundos;; 2 = quatro segundos;; 1 = vago;; 0 = nenhuma.

• EX029 — Padrão dos chamados. Como mudaram os chamados ao help desk? Rubrica: 3 = subiram no primeiro mês e depois caíram abaixo da comparação;; 2 = subida e queda;; 1 = estáveis;; 0 = nenhuma.

• EX030 — Recomendação. O que Priya recomendou depois do piloto? Rubrica: 3 = uma implantação escalonada com medição contínua;; 2 = escalonada;; 1 = big-bang;; 0 = nenhuma.

Síntese

Um piloto controlado com resultados definidos de antemão fornece evidências modestas, mas críveis, para uma decisão em etapas.

Continue estudando — aula 06 (capítulo 06 de 12)

← Capítulo 05 · Índice das aulas · Capítulo 07 →

Continue para a próxima aula já escrita.