Capítulo 3 — Desenho do estudo, ética e reprodutibilidade

Mapa da aula

Aula 03 publicada. Mapa, exemplo, EX015.

flowchart TD
  N0["3.1 Escolher o desenho"]
  N1["3.2 Ética e aprovação"]
  N2["3.3 Plano reproduzível"]
  N3["3.4 Piloto do revisor"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX015"]

Desenho lógico

flowchart LR
  N0["3.1 Escolher o desenho"]
  N1["3.2 Ética e aprovação"]
  N2["3.3 Plano reproduzível"]
  N3["3.4 Piloto do revisor"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX015"]

[3.1 Escolher o desenho]
    |
    v
[3.2 Ética e aprovação]
    |
    v
[3.3 Plano reproduzível]
    |
    v
[3.4 Piloto do revisor]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX015]

Objetivos de aprendizagem

Você vai (1) desenhar uma comparação observacional levando em conta os fatores de confusão; (2) obter aprovação ética e organizacional; (3) planejar uma análise reproduzível.

3.1 Escolher o desenho

A Tessaly tem dez unidades de negócio: cinco revisam acessos trimestralmente e cinco anualmente. Lucas não pode randomizar a frequência, então desenha uma comparação transversal. Um revisor independente sorteia 300 contas de cada grupo e julga cada uma contra o catálogo de papéis. Para lidar com a confusão, Lucas registra o tamanho da unidade, a rotatividade de pessoal, o número de sistemas e o número de contas, porque uma rotatividade alta poderia aumentar o acesso excessivo independentemente da frequência de revisão. Ele planeja comparar as taxas e depois verificar se a diferença se mantém entre unidades com rotatividade parecida.

3.2 Ética e aprovação

Embora ninguém seja objeto de experimento, o estudo trata dados sobre os acessos dos funcionários. Lucas obtém a aprovação do comitê de ética do Marlow e do encarregado de proteção de dados da Tessaly. Os revisores veem só identificadores de contas, não nomes, e os resultados são relatados por grupo, nunca por pessoa nem por unidade identificada. Os achados não serão usados para punir ninguém. Lucas também combina com a Tessaly que qualquer acesso excessivo grave encontrado, como direitos de administrador de um terceiro que já saiu, será comunicado imediatamente à equipe de segurança como questão operacional.

3.3 Plano reproduzível

Lucas escreve o plano de análise antes de ver os dados: o desfecho, a comparação, um intervalo bootstrap para a diferença entre as taxas, a verificação por rotatividade e o tratamento dos julgamentos ausentes. Fixa as sementes aleatórias nos scripts, guarda o plano datado e mantém scripts e plano numa única pasta versionada para revisão. Ele observa que especificar as análises de antemão protege contra escolher o resultado mais lisonjeiro depois do fato, um problema que Wohlin e colegas (2012) discutem para experimentos de engenharia de software e que vale igualmente para estudos de governança.

3.4 Piloto do revisor

Antes do estudo principal, Lucas testa se o acesso excessivo pode ser julgado de forma consistente. Dois revisores julgam 40 contas de forma independente. Concordam em 36, e a discussão revela que a maioria das divergências envolvia caixas de correio compartilhadas, que o catálogo de papéis não cobria. Lucas acrescenta uma regra para recursos compartilhados e a registra no livro de códigos. O piloto mostra que o desfecho é mensurável, mas depende da qualidade do catálogo, um limite que ele vai relatar. Sugere também um benefício prático para a Tessaly: um catálogo melhor facilita todas as revisões futuras.

Exemplo resolvido

Lucas desenha uma comparação de 300 mais 300 contas, registra a rotatividade como fator de confusão, obtém as aprovações e pré-registra a análise.

Caso sintético. Todas as unidades, contas e números de concordância são sintéticos.

Erros e limites

Fatores de confusão medidos não eliminam os não medidos. A qualidade do catálogo limita a validade.

Exercícios

• EX015 — Tamanho dos grupos. Quantas contas são sorteadas por grupo?
  Mostrar critérios de avaliação

  Rubrica: 3 = 300;; 2 = trezentas;; 1 = vago;; 0 = nenhuma.
• EX016 — Principal fator de confusão. Que fator de confusão poderia aumentar o acesso excessivo independentemente da frequência?
  Mostrar critérios de avaliação

  Rubrica: 3 = a rotatividade de pessoal;; 2 = rotatividade;; 1 = vago;; 0 = nenhuma.
• EX017 — Aprovações necessárias. De quem Lucas obteve aprovação?
  Mostrar critérios de avaliação

  Rubrica: 3 = do comitê de ética do Marlow e do encarregado de proteção de dados da Tessaly;; 2 = os dois;; 1 = vago;; 0 = nenhuma.
• EX018 — Regra para achados graves. O que acontece se for encontrado um acesso excessivo grave?
  Mostrar critérios de avaliação

  Rubrica: 3 = é comunicado imediatamente à segurança como questão operacional;; 2 = comunicar;; 1 = ignorar;; 0 = nenhuma.
• EX019 — Concordância no piloto. Em quantas das 40 contas do piloto os revisores concordaram?
  Mostrar critérios de avaliação

  Rubrica: 3 = 36;; 2 = 90%;; 1 = vago;; 0 = nenhuma.
• EX020 — Correção do catálogo. Que regra Lucas acrescentou depois do piloto?
  Mostrar critérios de avaliação

  Rubrica: 3 = uma regra para recursos compartilhados, como caixas de correio;; 2 = caixas compartilhadas;; 1 = vago;; 0 = nenhuma.

Síntese

Desenhos observacionais precisam de fatores de confusão registrados, aprovações e um plano pré-registrado.