◇ OpenCyber Academy
Profissionalizante · Capítulo 11 · Português

Capítulo 11 — Laboratório supervisionado

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 11 — Laboratório supervisionado

Mapa da aula

Aula 11 publicada. Mapa, exemplo, EX051.

flowchart TD
  N0["11.1 O teste"]
  N1["11.2 Comparação dos resultados"]
  N2["Laboratório — Julgamentos corretos depois das versõe"]
  N3["11.3 Adoção"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX051"]

Desenho lógico

flowchart LR
  N0["11.1 O teste"]
  N1["11.2 Comparação dos resultados"]
  N2["Laboratório — Julgamentos corretos depois das versõe"]
  N3["11.3 Adoção"]
  N4["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX051"]

[11.1 O teste]
    |
    v
[11.2 Comparação dos resultados]
    |
    v
[Laboratório — Julgamentos corretos depois das versõe]
    |
    v
[11.3 Adoção]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX051]

Objetivos de aprendizagem

Você vai (1) testar com voluntários uma mudança nas mensagens de veredito; (2) comparar a compreensão entre as versões; (3) decidir sobre a adoção.

11.1 O teste

No laboratório supervisionado, Grace testa duas versões da mensagem de veredito. A versão A diz apenas se a mensagem era maliciosa. A versão B acrescenta uma frase que explica a pista, como um endereço parecido ou um pedido de pagamento incomum. Vinte voluntários, que conhecem o propósito, leem os vereditos de cinco mensagens sintéticas num ambiente de teste, metade vendo a versão A e metade a versão B. Depois, cada um avalia três novas mensagens sintéticas. Alan supervisiona, e os voluntários podem desistir a qualquer momento. Cada sessão dura vinte minutos.

11.2 Comparação dos resultados

O laboratório compara os julgamentos corretos sobre as novas mensagens entre os dois grupos. Os voluntários que leram a versão B julgam corretamente mais mensagens do que os que leram a versão A. Grace observa a amostra pequena e que os voluntários sabiam que seriam convidados a julgar mensagens, o que pode deixá-los mais cuidadosos do que o normal. Ainda assim, o resultado é compatível com a ideia de que explicações breves ajudam as pessoas a aprender com cada reporte. Ela registra as contagens e a diferença sem exagerá-las. Alan revisa a análise.

Laboratório — Julgamentos corretos depois das versões A e B do veredito

# Correct judgements of three new messages by ten volunteers per version (synthetic).
a = [2, 1, 2, 2, 1, 2, 3, 2, 1, 2]; b = [3, 2, 3, 3, 2, 3, 2, 3, 2, 2]
print(f"version A: {sum(a)}/30 correct; version B: {sum(b)}/30 correct")

Execute com python3 lab_versions.py. Saída verificada:

version A: 18/30 correct; version B: 25/30 correct

11.3 Adoção

Grace recomenda adotar a versão B, já que ela custa só uma frase por veredito e pode ajudar os funcionários a aprender. Ela atualiza os modelos com as pistas comuns e treina sua reserva para escrever explicações curtas. Planeja verificar depois de três meses, com dados reais, se o reporte repetido melhora. Alan observa que ela seguiu um processo sólido: uma pergunta clara, um teste pequeno e justo, uma análise honesta e uma mudança barata com acompanhamento, que é como os profissionais devem melhorar os serviços. Os gestores aprovam a mudança.

Exemplo resolvido

Grace testa duas versões de veredito com vinte voluntários, encontra julgamentos melhores depois das explicações e adota a versão B com acompanhamento.

Caso sintético. O teste é sintético.

Erros e limites

Amostra pequena. Os voluntários conheciam a tarefa.

Exercícios

Síntese

Testes pequenos e justos sustentam melhorias baratas quando acompanhados de dados reais.

Continue estudando — aula 11 (capítulo 11 de 12)

← Capítulo 10 · Índice das aulas · Capítulo 12 →

Continue para a próxima aula já escrita.