OpenCyber Academy
Mestrado · Capítulo 5 · Português
Código do curso: OCA-165Capítulo 05: OCA-165-C005

Capítulo 5 — Projeto e piloto

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 05 publicada. Mapa, exemplo, EX027.

flowchart TD
  N0["5.1 Quantos pedidos"]
  N1["5.2 A extração piloto"]
  N2["5.3 Escrevendo o projeto"]
  N3["5.4 Valor para a decisão"]
  N4["Laboratório — Pedidos necessários para detectar uma"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX027"]

Desenho lógico

flowchart LR
  N0["5.1 Quantos pedidos"]
  N1["5.2 A extração piloto"]
  N2["5.3 Escrevendo o projeto"]
  N3["5.4 Valor para a decisão"]
  N4["Laboratório — Pedidos necessários para detectar uma"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX027"]
[5.1 Quantos pedidos]
    |
    v
[5.2 A extração piloto]
    |
    v
[5.3 Escrevendo o projeto]
    |
    v
[5.4 Valor para a decisão]
    |
    v
[Laboratório — Pedidos necessários para detectar uma]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX027]

Objetivos de aprendizagem

Você vai (1) estimar a amostra necessária para detectar uma mudança em uma proporção; (2) testar em piloto a extração dos dados; (3) escrever um projeto conciso.

5.1 Quantos pedidos

Hana pergunta se 240 pedidos por período bastam. Usando a taxa de base dentro do prazo de 0,74 e os parâmetros usuais de cinco por cento de significância e oitenta por cento de poder, o laboratório estima os pedidos necessários por período. Detectar uma subida para 0,85 exige 211 pedidos, uma subida para 0,90 exige 90, e uma subida para 0,95 exige 46. Com 240 por período, ela consegue detectar uma subida para 0,85 ou mais. Uma melhora menor poderia ser real e passar despercebida, e ela escreve essa frase no projeto para que um resultado nulo não seja lido, por engano, como prova de que o portal fracassou.

5.2 A extração piloto

Antes do estudo principal, Hana testa a extração de metadados em um mês de chamados. Ela encontra dois problemas. Alguns chamados registram a data em que o caso foi encerrado, e não a data em que a resposta foi enviada, e alguns pedidos por correio só foram registrados quando digitalizados, dias depois da chegada. Os dois erros distorceriam o desfecho de tempo. Ela combina correções com a Brookfield: conclusão significa a data em que a resposta foi enviada, e recebimento significa a data carimbada na sala de correspondência. As diretrizes de acesso do EDPB sustentam a contagem a partir do recebimento, e a LGPD também conta o prazo de quinze dias da data do requerimento do titular (art. 19, II), o que confirma que a definição corrigida corresponde ao relógio legal.

5.3 Escrevendo o projeto

O projeto cabe em seis páginas. Ele enuncia a pergunta, os desfechos e sua justificativa, o desenho e as explicações concorrentes, o tamanho da amostra, os arranjos éticos e o plano de análise. Hana inclui uma tabela que associa cada concorrente à sua verificação e um cronograma que termina três meses antes da entrega. O Dr. Pritchard pede que ela corte parte do contexto e acrescente um parágrafo sobre o que a Brookfield fará com cada resultado possível, porque um estudo que não pode mudar uma decisão é difícil de justificar para uma organização ocupada que está cedendo horas da equipe à pesquisa.

5.4 Valor para a decisão

Hana escreve o parágrafo da decisão. Se o portal melhorar a conclusão dentro do prazo sem prejudicar a qualidade, a Brookfield desativará a rota por e-mail para pedidos de acesso e promoverá o portal. Se melhorar o tempo mas prejudicar a qualidade, a Brookfield acrescentará uma verificação de completude antes do envio das respostas. Se não mudar nada, a Brookfield investigará o processo por correio, o canal mais lento. Cada resultado leva a uma ação específica. Ela observa que escrever o parágrafo da decisão também a obrigou a esclarecer o que conta como prejuízo à qualidade, o que tornou o plano de medição mais preciso e mais fácil de o encarregado aprovar.

Laboratório — Pedidos necessários para detectar uma mudança na conclusão dentro do prazo

# Requests per arm needed to detect a rise in on-time completion (two-sided alpha 0.05, power 0.80).
import math
za, zb = 1.959964, 0.841621
def n(p1, p2):
    pb = (p1 + p2) / 2
    return math.ceil((za * math.sqrt(2 * pb * (1 - pb)) + zb * math.sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 / (p1 - p2) ** 2)
for p2 in [0.85, 0.90, 0.95]:
    print(f"on-time 0.74 -> {p2:.2f}: {n(0.74, p2):4d} requests per period")

Execute com python3 lab_power.py. Saída verificada:

on-time 0.74 -> 0.85:  211 requests per period
on-time 0.74 -> 0.90:   90 requests per period
on-time 0.74 -> 0.95:   46 requests per period

Exemplo resolvido

Hana descobre que 240 pedidos por período detectam uma subida de 0,74 para 0,85 (são necessários 211), corrige dois erros de tempo encontrados no piloto e associa cada resultado possível a uma ação da Brookfield.

Caso sintético. Os dados dos chamados e os erros do piloto são sintéticos; as Diretrizes 01/2022 do EDPB e o art. 19 da LGPD são reais.

Erros e limites

As fórmulas de poder presumem pedidos independentes; requerentes repetidos violam isso levemente. Uma mudança detectável não é o mesmo que uma mudança importante.

Exercícios

  • EX027 — Amostra necessária. Quantos pedidos por período detectam uma subida de 0,74 para 0,90?
    Mostrar critérios de avaliação
    Rubrica: 3 = 90;; 2 = cerca de noventa;; 1 = errado;; 0 = nenhuma.
  • EX028 — Sentido do resultado nulo. Por que um resultado nulo não deve ser lido como fracasso?
    Mostrar critérios de avaliação
    Rubrica: 3 = o estudo pode deixar passar uma melhora real menor do que a detectável;; 2 = menciona poder;; 1 = trata o nulo como prova;; 0 = nenhuma.
  • EX029 — Erros do piloto. Cite os dois erros de tempo que o piloto encontrou.
    Mostrar critérios de avaliação
    Rubrica: 3 = data de encerramento em vez da data da resposta; pedidos por correio registrados na digitalização;; 2 = cita um;; 1 = vago;; 0 = nenhuma.
  • EX030 — Relógio legal. Por que contar a partir do carimbo da sala de correspondência?
    Mostrar critérios de avaliação
    Rubrica: 3 = o prazo corre a partir do recebimento, como as diretrizes confirmam;; 2 = menciona o recebimento;; 1 = usa a data de digitalização;; 0 = nenhuma.
  • EX031 — Parágrafo da decisão. O que o parágrafo da decisão acrescenta ao projeto?
    Mostrar critérios de avaliação
    Rubrica: 3 = associa cada resultado a uma ação concreta na Brookfield;; 2 = menciona uso;; 1 = omite;; 0 = nenhuma.
  • EX032 — Detectável versus importante. Distinga uma mudança detectável de uma importante.
    Mostrar critérios de avaliação
    Rubrica: 3 = a detectável depende do tamanho da amostra; a importante depende do dano aos requerentes;; 2 = define uma;; 1 = confunde as duas;; 0 = nenhuma.

Síntese

O capítulo 5 dimensiona e pilota o estudo. O capítulo 6 coleta os dados e os analisa com um intervalo bootstrap.

Respostas comentadas

EX027. 90 pedidos por período.

EX028. Com 240 por período, melhoras menores do que até 0,85 podem passar despercebidas, então a ausência de diferença não prova a ausência de efeito.

EX029. Os chamados usavam a data de encerramento em vez da data de envio, e os pedidos por correio eram registrados com atraso, na digitalização.

EX030. Porque o prazo legal corre a partir do momento em que o controlador recebe o pedido; a LGPD conta o prazo da data do requerimento (art. 19, II).

EX031. Associa cada resultado possível a uma ação específica da Brookfield.

EX032. A detectabilidade é estatística; a importância diz respeito aos efeitos reais sobre as pessoas e a conformidade.