Capítulo 3 — Proposta de contribuição original

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Hipóteses"]
  N1["3.2 Medidas"]
  N2["3.3 Ameaças à validade"]
  N3["3.4 Aprovação"]
  N0 --> N1 --> N2 --> N3
  N3 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Hipóteses"]
  N1["3.2 Medidas"]
  N2["3.3 Ameaças à validade"]
  N3["3.4 Aprovação"]
  N0 --> N1 --> N2 --> N3 --> Q["EX015"]

[3.1 Hipóteses]
    |
    v
[3.2 Medidas]
    |
    v
[3.3 Ameaças à validade]
    |
    v
[3.4 Aprovação]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) declarar hipóteses e medidas de desfecho com precisão; (2) desenhar a comparação e as ameaças à validade; (3) obter a aprovação de uma proposta.

3.1 Hipóteses

Yusuf declara duas hipóteses. Primeira: os departamentos que adotam a correção ordenada pelo risco vão mostrar uma queda maior na mediana de dias para corrigir vulnerabilidades críticas do que os departamentos de comparação no mesmo período. Segunda: os departamentos que adotam revisões de acesso ordenadas pelo risco vão mostrar uma queda maior na proporção de contas com privilégios além da linha de base da sua função. Ele registra as hipóteses, as medidas, o método de análise e o menor efeito que consideraria significativo num documento de pré-registro datado, guardado pela Prof.ª Hald. A Prof.ª Hald assina e data o documento, e uma cópia é depositada na escola de pós-graduação.

3.2 Medidas

A latência de correção é o número de dias desde a publicação de uma vulnerabilidade crítica pelo fornecedor até a instalação da correção num sistema afetado, usando medianas porque a latência é distorcida por alguns poucos casos muito lentos. O privilégio excessivo é a proporção de contas que têm qualquer permissão fora da linha de base da sua função, uma medida operacional direta do privilégio mínimo. Ambas vêm de sistemas existentes, o que evita o viés do autorrelato. Yusuf documenta a fonte, a fórmula e os erros conhecidos de cada medida, como correções aplicadas, mas não registradas.

3.3 Ameaças à validade

Yusuf lista as ameaças. Os departamentos escolhidos para a adoção antecipada podem já ser mais bem administrados, uma ameaça de seleção; ele vai comparar as tendências anteriores à adoção. Um evento em toda a cidade, como uma grande vulnerabilidade de um fornecedor, pode afetar todos os departamentos; o grupo de comparação o absorve. As práticas de registro podem mudar com a adoção, uma ameaça de medição; ele vai auditar uma amostra dos registros contra as evidências dos sistemas. Os funcionários podem mudar de comportamento por saberem que estão sendo estudados; ele anota isso, mas espera pouco efeito sobre logs automatizados. Cada ameaça e sua resposta aparecem na proposta.

3.4 Aprovação

A banca da proposta inclui a Prof.ª Hald, um estatístico e o líder de segurança da Fernvale como consultor externo. O estatístico pergunta sobre o tamanho da amostra; Yusuf admite que não pode controlar quantas vulnerabilidades ocorrem e planeja relatar intervalos de confiança e o poder estatístico com honestidade, em vez de afirmar certeza. O líder de segurança pede que os nomes dos departamentos sejam codificados em todas as saídas. A banca aprova a proposta com os dois pontos registrados, e o pré-registro é congelado antes da extração dos dados de desfecho. O líder de segurança também se oferece para providenciar acesso a extratos de teste anonimizados.

Exemplo resolvido

Yusuf pré-registra duas hipóteses sobre a latência de correção e o privilégio excessivo, define medidas a partir de dados dos sistemas, lista as ameaças de seleção, histórico, medição e observação e obtém aprovação com compromissos sobre o relato do poder e a codificação dos nomes dos departamentos.

Caso sintético. A proposta é sintética.

Erros e limites

Mudar as hipóteses depois de ver os dados de desfecho invalida as afirmações confirmatórias.

Exercícios

• EX015 — Primeira hipótese. O que prevê a primeira hipótese?

  Mostrar critérios de avaliação

  Rubrica: 3 = uma queda maior na mediana da latência de correção crítica nos departamentos adotantes;; 2 = parcialmente correto;; 1 = parcial;; 0 = nenhuma.

• EX016 — Escolha da mediana. Por que usar medianas para a latência de correção?

  Mostrar critérios de avaliação

  Rubrica: 3 = a latência é distorcida por alguns poucos casos muito lentos;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX017 — Definição de privilégio excessivo. Como se mede o privilégio excessivo?

  Mostrar critérios de avaliação

  Rubrica: 3 = proporção de contas com permissões fora da linha de base da função;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX018 — Resposta à seleção. Como Yusuf vai tratar a ameaça de seleção?

  Mostrar critérios de avaliação

  Rubrica: 3 = comparar as tendências anteriores à adoção;; 2 = parcialmente correto;; 1 = vago;; 0 = nenhuma.

• EX019 — Pergunta do estatístico. Sobre o que o estatístico perguntou?

  Mostrar critérios de avaliação

  Rubrica: 3 = tamanho da amostra;; 2 = parcialmente correto;; 1 = outra coisa;; 0 = nenhuma.

• EX020 — Momento do congelamento. Quando o pré-registro é congelado?

  Mostrar critérios de avaliação

  Rubrica: 3 = antes da extração dos dados de desfecho;; 2 = parcialmente correto;; 1 = depois;; 0 = nenhuma.