Capítulo 3 — Proposta de contribuição original

Capítulo 3 — Proposta de contribuição original

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Hipóteses e medidas"]
  N1["3.2 Definição da intervenção"]
  N2["3.3 Tamanho da amostra e efeito"]
  N3["3.4 Ameaças à validade"]
  N4["3.5 Revisão e aprovação"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Hipóteses e medidas"]
  N1["3.2 Definição da intervenção"]
  N2["3.3 Tamanho da amostra e efeito"]
  N3["3.4 Ameaças à validade"]
  N4["3.5 Revisão e aprovação"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX015"]

[3.1 Hipóteses e medidas]
    |
    v
[3.2 Definição da intervenção]
    |
    v
[3.3 Tamanho da amostra e efeito]
    |
    v
[3.4 Ameaças à validade]
    |
    v
[3.5 Revisão e aprovação]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) escrever uma proposta que declare de antemão hipóteses, medidas e análise; (2) definir a intervenção com precisão suficiente para ser replicada; (3) planejar o tamanho da amostra diante de tamanhos de efeito realistas; (4) antecipar as ameaças à validade.

3.1 Hipóteses e medidas

A proposta de Amara declara uma hipótese principal: as equipes que acrescentarem uma etapa de threat modeling com STRIDE à revisão de design apresentarão uma taxa menor de defeitos de arquitetura pós-lançamento por cem mudanças de design do que as equipes de comparação, medida ao longo de doze meses após cada mudança. As hipóteses secundárias tratam da gravidade dos defeitos e do tempo de correção. Cada medida tem uma definição, uma fonte de dados e uma regra de codificação. Ela também declara o que não é medido, como os defeitos nunca descobertos, e explica por quê: eles não podem ser contados, de modo que o estudo só pode estimar efeitos sobre os defeitos descobertos, uma limitação que ela vai repetir em todos os capítulos que relatarem resultados.

3.2 Definição da intervenção

Uma intervenção vaga não pode ser replicada. Amara a especifica em detalhe: antes da aprovação do design, a equipe desenha um diagrama de fluxo de dados com as fronteiras de confiança, percorre cada elemento pelas seis categorias do STRIDE, registra as ameaças com responsáveis e mitigações, e um arquiteto de fora da equipe revisa o registro. A sessão tem duração limitada a noventa minutos para uma mudança típica. Ela escreve um checklist de fidelidade, para que cada sessão possa ser pontuada quanto à aderência ao protocolo. Sem dados de fidelidade, um resultado nulo seria impossível de interpretar, porque ninguém saberia se a prática foi de fato aplicada.

3.3 Tamanho da amostra e efeito

Os defeitos de arquitetura são raros: o histórico da Tessaro mostra cerca de quatro por cem mudanças de design. Amara pergunta que redução importaria para a Tessaro, e a liderança de segurança diz que um quarto a menos de defeitos justificaria o custo de tempo. Com trinta equipes e cerca de quarenta mudanças de design por equipe por ano, ela simula o estudo muitas vezes sob esse efeito suposto e descobre que detectá-lo de forma confiável exige pelo menos dezoito meses de acompanhamento. Ela registra a simulação, suas premissas e o plano resultante, e observa que um efeito verdadeiro menor poderia facilmente passar despercebido, o que ela vai relatar, e não esconder.

3.4 Ameaças à validade

Seguindo Wohlin et al. (2012), Amara lista as ameaças em quatro grupos. Validade de construto: a classificação dos defeitos pode não captar o que os arquitetos entendem por falha de arquitetura. Validade interna: as equipes que adotam a prática podem mudar também outras práticas, como acrescentar security champions. Validade externa: uma seguradora com uma função central de arquitetura pode ser diferente de uma startup. Validade de conclusão: desfechos raros geram incerteza ampla. Para cada ameaça, ela escreve uma mitigação, como registrar a cada trimestre as mudanças de prática simultâneas e relatar intervalos de confiança, e não apenas testes de significância.

3.5 Revisão e aprovação

Amara apresenta a proposta à sua banca e ao conselho de arquitetura da Tessaro. A banca pergunta por que ela não mede também as ameaças encontradas nas sessões; ela a acrescenta como medida de processo, não de desfecho, porque encontrar mais ameaças não prova que haja menos defeitos. A Tessaro pede que as equipes não sejam ranqueadas publicamente; ela concorda em relatar apenas agregados. Os dois grupos aprovam, e ela registra a proposta com carimbo de tempo. Ela mantém um log de mudanças: qualquer alteração posterior nas medidas ou na análise será registrada com o motivo e relatada, para que os leitores distingam os resultados planejados dos exploratórios.

Exemplo resolvido

Amara escreve uma proposta com uma hipótese principal e duas secundárias, um protocolo STRIDE de noventa minutos com checklist de fidelidade, um acompanhamento de dezoito meses baseado em simulação e uma tabela de validade.

Caso sintético. As taxas de defeitos, o número de equipes e as decisões do conselho são sintéticos; Wohlin et al. (2012) e Shostack (2014) são reais.

Erros e limites

O poder simulado depende da variação suposta entre as equipes. Os checklists de fidelidade podem virar preenchimento burocrático se os revisores não observarem as sessões.

Exercícios

• EX015 — Defeitos não descobertos. Por que o estudo só pode estimar efeitos sobre os defeitos descobertos? Rubrica: 3 = os defeitos não descobertos não podem ser contados, então ficam fora da medida;; 2 = não podem ser contados;; 1 = inclui todos;; 0 = nenhuma.

• EX016 — Propósito da fidelidade. Por que um checklist de fidelidade é essencial para interpretar um resultado nulo? Rubrica: 3 = mostra se a prática foi de fato aplicada; sem ele, o nulo é ambíguo;; 2 = aplicada;; 1 = não é necessário;; 0 = nenhuma.

• EX017 — Efeito relevante. Que redução a liderança da Tessaro disse que importaria? Rubrica: 3 = um quarto a menos de defeitos de arquitetura;; 2 = um quarto;; 1 = qualquer uma;; 0 = nenhuma.

• EX018 — Duração do acompanhamento. Que acompanhamento a simulação sugeriu, e por quê? Rubrica: 3 = pelo menos dezoito meses, porque os defeitos são raros;; 2 = dezoito meses;; 1 = seis meses;; 0 = nenhuma.

• EX019 — Ameaça interna. Dê uma ameaça à validade interna e sua mitigação. Rubrica: 3 = as equipes que adotam mudam também outras práticas; registrar as mudanças simultâneas a cada trimestre;; 2 = só a ameaça;; 1 = ameaça externa;; 0 = nenhuma.

• EX020 — Medida de ameaças encontradas. Por que as ameaças encontradas nas sessões são medida de processo, e não de desfecho? Rubrica: 3 = encontrar mais ameaças não prova que haja menos defeitos;; 2 = não é desfecho;; 1 = é desfecho;; 0 = nenhuma.

Síntese

Uma proposta forte fixa por escrito hipóteses, intervenção, plano amostral e ameaças à validade antes que os dados de resultado sejam vistos.

Continue estudando — aula 03 (capítulo 03 de 08)

← Capítulo 02 · Índice das aulas · Capítulo 04 →

Continue para a próxima aula já escrita.