Capítulo 8 — Defesa e plano de publicação

Capítulo 8 — Defesa e plano de publicação

Mapa da aula

Aula 08 publicada. Mapa, exemplo, EX045.

flowchart TD
  N0["8.1 Preparação da defesa"]
  N1["8.2 Respostas aos examinadores"]
  N2["8.3 Plano de publicação"]
  N3["8.4 Divulgação aos praticantes"]
  N4["8.5 Depois do doutorado"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX045"]

Desenho lógico

flowchart LR
  N0["8.1 Preparação da defesa"]
  N1["8.2 Respostas aos examinadores"]
  N2["8.3 Plano de publicação"]
  N3["8.4 Divulgação aos praticantes"]
  N4["8.5 Depois do doutorado"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX045"]

[8.1 Preparação da defesa]
    |
    v
[8.2 Respostas aos examinadores]
    |
    v
[8.3 Plano de publicação]
    |
    v
[8.4 Divulgação aos praticantes]
    |
    v
[8.5 Depois do doutorado]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX045]

Objetivos de aprendizagem

Você vai (1) preparar uma defesa em torno das objeções mais fortes; (2) responder aos examinadores com evidências e concessões; (3) planejar os veículos e a ordem de publicação; (4) planejar a divulgação aos praticantes sem exagerar os resultados.

8.1 Preparação da defesa

Amara se prepara escrevendo as dez perguntas mais difíceis que espera, tiradas da tabela de revisões e das próprias dúvidas, e redigindo respostas baseadas em evidências. Entre os exemplos estão: por que uma única organização, por que não aleatorizar, como a confiabilidade da codificação afeta a estimativa e o que a faria mudar de ideia. Ela ensaia com colegas instruídos a interromper. O Prof. Quintero aconselha que a defesa não é uma encenação de certeza, mas uma demonstração de que ela conhece os limites das suas evidências. A preparação transforma a ansiedade numa lista de perguntas específicas e respondíveis, cada uma ligada a uma seção da tese.

8.2 Respostas aos examinadores

Durante a defesa, um examinador externo argumenta que a diferença em diferenças não consegue excluir choques não observados que atinjam só as equipes que adotaram. Amara concorda que ela não consegue excluí-los completamente, explica o log trimestral de mudanças simultâneas e a análise de sensibilidade e propõe o teste que resolveria a questão: um estudo futuro com ordem das ondas aleatorizada. Um segundo examinador pergunta se noventa minutos por mudança valem um quinto a menos de defeitos. Ela responde que essa decisão cabe a cada organização e fornece os insumos necessários para tomá-la. Conceder onde as evidências são limitadas torna as afirmações restantes mais críveis.

8.3 Plano de publicação

Ela planeja três produtos. O estudo principal vai para um veículo revisado por pares de engenharia de software empírica ou de segurança, com o pacote de replicação. O manual de codificação e o estudo de concordância vão para um workshop ou periódico focado em medição. As lições do piloto vão para um veículo de praticantes. Ela ordena as submissões para que o artigo de medição, do qual os outros dependem, saia primeiro, e cita o identificador do arquivo em cada um. Ela combina com a Tessaro quais detalhes serão anonimizados em todos os produtos e lhe dá o mesmo direito de revisão prévia que teve durante a tese.

8.4 Divulgação aos praticantes

Os praticantes leem resumos, não teses. Amara escreve um resumo de duas páginas que enuncia o achado em termos simples: numa seguradora, acrescentar uma etapa de threat modeling de noventa minutos à revisão de design esteve associado a cerca de um quinto a menos de defeitos de arquitetura pós-lançamento. Ele lista as condições, os custos e as incertezas e aponta para o protocolo e o checklist. Ela recusa o convite de um fornecedor para apresentar o resultado como prova de que a ferramenta de threat modeling dele funciona, porque o estudo dela não testou nenhuma ferramenta. Uma divulgação cuidadosa protege tanto a pesquisa quanto os praticantes que podem agir com base nela.

8.5 Depois do doutorado

Amara registra os trabalhos futuros: uma replicação com ondas aleatorizadas, um estudo com várias organizações de diferentes setores, a medição da qualidade do design além dos defeitos e o estudo de como o threat modeling interage com arquiteturas zero trust segundo o SP 800-207. Ela oferece seu manual de codificação a outros pesquisadores e aceita revisar uma proposta de replicação. Sua reflexão final observa que a habilidade mais valiosa que aprendeu não foi um método estatístico, mas o hábito de perguntar, para cada afirmação, que observação mostraria que ela é falsa e se essa observação foi buscada. Ela pretende manter esse hábito em todos os projetos futuros.

Exemplo resolvido

Amara ensaia dez perguntas difíceis, concede o limite dos choques não observados propondo uma replicação aleatorizada, ordena três publicações com o artigo de medição primeiro e recusa o endosso a um fornecedor.

Caso sintético. Os examinadores, os veículos e o convite do fornecedor são sintéticos; o SP 800-207 é real.

Erros e limites

Os prazos de publicação são incertos; os planos não devem atrasar o compartilhamento do arquivo. Os resumos para praticantes perdem nuances e devem apontar para as limitações completas.

Exercícios

• EX045 — Propósito da defesa. O que o Prof. Quintero diz que a defesa demonstra? Rubrica: 3 = o conhecimento dos limites das evidências, não a certeza;; 2 = limites;; 1 = certeza;; 0 = nenhuma.

• EX046 — Choques não observados. Como Amara responde à objeção dos choques não observados? Rubrica: 3 = concede que não podem ser totalmente excluídos, cita o log de mudanças simultâneas e a sensibilidade e propõe a ordem das ondas aleatorizada;; 2 = concessão mais um ponto;; 1 = nega;; 0 = nenhuma.

• EX047 — Pergunta sobre o custo. Como ela responde se noventa minutos valem a pena? Rubrica: 3 = é uma decisão de cada organização; ela fornece os insumos;; 2 = a organização decide;; 1 = sim, sempre;; 0 = nenhuma.

• EX048 — Primeiro artigo. Que artigo é submetido primeiro, e por quê? Rubrica: 3 = o artigo de medição, porque os outros dependem dele;; 2 = medição;; 1 = estudo principal;; 0 = nenhuma.

• EX049 — Recusa ao fornecedor. Por que recusar o convite do fornecedor? Rubrica: 3 = o estudo não testou nenhuma ferramenta, então não pode endossar uma;; 2 = nenhuma ferramenta testada;; 1 = aceita;; 0 = nenhuma.

• EX050 — Hábito duradouro. Que habilidade Amara aponta como a mais valiosa? Rubrica: 3 = perguntar que observação falsearia cada afirmação e buscá-la;; 2 = hábito de falseamento;; 1 = estatística;; 0 = nenhuma.

Síntese

Uma defesa e um plano de publicação dão certo quando reconhecem limites reais, ordenam as produções por dependência e se recusam a deixar que os resultados sejam exagerados.

Continue estudando — aula 08 (capítulo 08 de 08)

← Capítulo 07 · Índice das aulas · Próximo curso pelo índice →

O índice aponta para o próximo curso do percurso de estudos.

Resoluções

Respostas-modelo para EX001–EX050. Amara Lind, o Prof. Rafael Quintero, o Halden Institute of Technology, o Tessaro Insurance Group e todos os números são sintéticos; as respostas dos laboratórios citam saídas verificadas. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.

EX001. Equipes que adotam a prática sem taxa menor, ou com taxa maior, de defeitos de arquitetura pós-lançamento por cem mudanças de design do que as equipes de comparação ao longo de doze meses.

EX002. Muitas afirmações de segurança são infalseáveis: afirmam um benefício sem dizer que observação mostraria que o benefício não existe.

EX003. Não consegue distinguir o efeito do threat modeling da melhora ao longo do tempo ou da regressão à média depois de anos ruins.

EX004. Porque as equipes adotam segundo os ciclos orçamentários, que Amara não pode atribuir ao acaso.

EX005. Pode revisar os rascunhos para retirar detalhes confidenciais, mas não pode bloquear nem alterar os achados.

EX006. Aquele cuja correção exige mudar uma fronteira de confiança, a responsabilidade de um componente ou um fluxo de dados, e não o código dentro de um único componente.

EX007. O kappa foi 0,79, com concordância observada de 0,90, o que fica na faixa de concordância substancial de Landis e Koch.

EX008. Menor privilégio, padrões à prova de falha e mediação completa.

EX009. Não. Eles estruturam o trabalho e a comunicação, mas a melhora dos resultados precisa ser mostrada por evidência empírica.

EX010. Nenhuma confiança é concedida apenas com base na localização na rede; cada requisição de acesso é autenticada e autorizada.

EX011. Evidência empírica que compara os resultados com um contrafactual crível.

EX012. Porque a evidência de uma organização não sustenta uma afirmação geral, então ela declara as condições de transferência.

EX013. Não tem grupo de comparação e o fornecedor tem conflito de interesse no resultado.

EX014. Apenas para sugerir hipóteses; nunca como evidência de que uma prática tem efeito.

EX015. Porque os defeitos nunca descobertos não podem ser observados, de modo que o desfecho cobre apenas os encontrados.

EX016. Mostra se as sessões seguiram o protocolo, para que um resultado nulo possa ser distinguido de uma falha na aplicação da prática.

EX017. Uma redução de cerca de um quarto nos defeitos de arquitetura pós-lançamento.

EX018. Pelo menos dezoito meses, porque, com cerca de quatro defeitos por cem mudanças, um acompanhamento mais curto gera eventos de menos.

EX019. As equipes que adotam podem acrescentar outras práticas, como security champions; Amara registra as mudanças simultâneas a cada trimestre.

EX020. Porque identificar mais ameaças nas oficinas não mostra, por si só, que menos defeitos chegam à produção.

EX021. Os 4,1 relatados contavam chamados duplicados quando um defeito afetava várias equipes; a remoção das duplicatas alinhou os números.

EX022. A intervenção teria parecido eficaz mesmo que nada mudasse, porque a linha de base estava superestimada.

EX023. Três equipes em três meses produzem defeitos de menos para sustentar qualquer conclusão sobre o efeito.

EX024. Estava num projeto renomeado; Amara corrigiu o mapeamento de projetos e os dez foram recuperados.

EX025. São como vetores de teste: entradas conhecidas com saídas esperadas que conferem o pipeline.

EX026. As mudanças grandes agora podem passar pelo threat modeling em duas sessões separadas.

EX027. Para que o desejo de ver a intervenção dar certo não influencie a classificação dos defeitos.

EX028. Que, sem a intervenção, as equipes que adotam e as de comparação teriam seguido tendências paralelas.

EX029. Uma estimativa de -0,77 defeito por cem mudanças, com proporção de permutação de 0,022.

EX030. A estimativa quase não mudou, o que enfraquece a explicação rival de que os champions causaram a redução.

EX031. É compatível com a ideia de que a prática importa, mas também com a de que as equipes menos engajadas pontuam baixo e melhoram menos.

EX032. Ela evita recomendar a adoção universal e declara uma redução modesta na Tessaro a cerca de noventa minutos por mudança.

EX033. Porque leitores com compromissos diferentes procuram fraquezas diferentes, combatendo a cegueira dos círculos que apoiam.

EX034. Que as equipes que adotam depois de anos ruins melhorariam de qualquer forma por regressão à média, imitando um efeito.

EX035. As taxas pré-adoção das equipes que adotaram ficariam acima das suas próprias médias de longo prazo; não ficaram.

EX036. Que a prática esteve associada a menos defeitos de arquitetura pós-lançamento, tal como codificados, em vez de dizer que ela melhora a segurança da arquitetura.

EX037. O pedido de retirar as equipes de fidelidade baixa, porque excluí-las enviesaria a estimativa do efeito para cima.

EX038. Porque revelam como o candidato testou as objeções e respondeu a elas.

EX039. É um único argumento em que cada estudo fornece uma premissa rumo à conclusão.

EX040. A associação entre a fidelidade das sessões e o tamanho do efeito.

EX041. O arquivo alterado foi relatado como divergente (MISMATCH), enquanto os outros arquivos foram verificados.

EX042. Porque os registros reais de defeitos não podem sair da Tessaro e poderiam revelar fraquezas exploráveis.

EX043. Um comentário num script que nomeava um sistema interno, que Amara removeu.

EX044. O conselho central de arquitetura e o rastreamento maduro de defeitos da Tessaro podem não existir em outros lugares, de modo que os efeitos poderiam ser diferentes lá.

EX045. Que a candidata sabe exatamente onde as evidências param, e não que ela tem certeza.

EX046. Ela concede que eles não podem ser completamente excluídos, aponta o log de mudanças simultâneas e a análise de sensibilidade e propõe aleatorizar a ordem das ondas no futuro.

EX047. É uma decisão de cada organização, e ela fornece os insumos de custo e efeito necessários para tomá-la.

EX048. O artigo do manual de codificação e da concordância, porque os outros artigos se apoiam nessa medição.

EX049. Porque nenhuma ferramenta foi testada, então apresentar o resultado como prova de um produto o deturparia.

EX050. O hábito de perguntar que observação mostraria que uma afirmação é falsa e de verificar se ela foi buscada.