Capítulo 39 — Avaliação do projeto final

Mapa da aula

Aula 39 publicada. Mapa, exemplo, EX077.

flowchart TD
  N0["39.1 Em relação aos critérios"]
  N1["39.2 Limitações"]
  N2["39.3 Revisão independente"]
  N3["39.4 Incerteza residual"]
  N4["39.6 Atividade prática"]
  N5["39.8 Aprendendo com a avaliação"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX077"]

Desenho lógico

flowchart LR
  N0["39.1 Em relação aos critérios"]
  N1["39.2 Limitações"]
  N2["39.3 Revisão independente"]
  N3["39.4 Incerteza residual"]
  N4["39.6 Atividade prática"]
  N5["39.8 Aprendendo com a avaliação"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX077"]

[39.1 Em relação aos critérios]
    |
    v
[39.2 Limitações]
    |
    v
[39.3 Revisão independente]
    |
    v
[39.4 Incerteza residual]
    |
    v
[39.6 Atividade prática]
    |
    v
[39.8 Aprendendo com a avaliação]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX077]

Objetivos de aprendizagem

Você vai (1) avaliar o seu projeto final em relação aos critérios de sucesso; (2) analisar as limitações e as ameaças à validade; (3) buscar uma revisão independente e responder a ela; e (4) declarar o que continua incerto.

39.1 Em relação aos critérios

Volte aos critérios de sucesso da sua proposta e avalie cada um: cumprido, parcialmente cumprido ou não cumprido, com evidências. Se os critérios mudaram, explique por quê. A avaliação é honesta quando relata claramente o sucesso parcial.

Para cada critério, aponte a evidência: uma execução de teste, uma figura ou o comentário de um revisor. Um critério que não pode ser avaliado deve ser listado como tal, com o motivo. Os examinadores respeitam mais um relato claro do que foi e do que não foi alcançado que uma avaliação que alega que tudo funcionou.

39.2 Limitações

Nomeie as limitações por tipo: dados (sintéticos, amostra pequena), método (redes emuladas), escopo (apenas troca de chaves) e tempo (status das normas numa data). Para cada uma, declare o efeito provável sobre as conclusões. As limitações não são desculpas; elas são a fronteira do que as suas evidências sustentam.

Seja específico sobre a direção de cada efeito quando puder: por exemplo, as redes emuladas podem subestimar a latência nos piores enlaces das agências. Quando você não conseguir dizer para que lado uma limitação empurra o resultado, diga isso também.

39.3 Revisão independente

Peça a um colega ou ao orientador que rode de novo parte do seu trabalho e questione as suas conclusões. Registre os comentários deles e as suas respostas. Os revisores costumam encontrar hipóteses não declaradas — por exemplo, que todas as agências usam o mesmo equipamento.

Dê ao revisor uma tarefa clara, como rodar de novo uma figura a partir do repositório e conferir uma conclusão. O resultado dele é evidência sobre a reprodutibilidade; o questionamento dele é evidência sobre a força do seu argumento. Relate as divergências que você não conseguiu resolver, em vez de deixá-las de fora.

39.4 Incerteza residual

Encerre com o que continua incerto: os cronogramas quânticos, as normas futuras (FN-DSA, HQC), as entregas dos fornecedores. Explique como um leitor deve atualizar as suas conclusões se esses fatores mudarem.

Para cada incerteza, diga que conclusão ela afeta e em que direção. Por exemplo, um cronograma quântico mais curto tornaria mais fluxos urgentes, mas não mudaria quais fluxos lideram a classificação. Isso permite aos leitores aplicar o seu trabalho depois que as hipóteses mudarem, em vez de descartá-lo. Date a declaração, porque o que conta como incerto nas normas e nos produtos muda de um ano para outro.

39.5 Exemplo resolvido

Avaliação do projeto final da CBOM: critério 1 (ferramenta reprodutível) cumprido — um colega a rodou de novo e obteve uma saída idêntica; critério 2 (classificação estável para z de 10–25) parcialmente cumprido — estável para z ≥ 13, muda abaixo disso; as entrevistas (3) apoiam a pertinência, mas são poucas demais para generalizar. Limitação: os dados sintéticos podem subestimar os ativos desconhecidos, que nos inventários reais costumam ser de 20–40 % (uma hipótese a verificar). Comentário do revisor: o modelo ignora os segmentos controlados por parceiros; resposta: acrescentado como trabalho futuro, com um esboço.

A avaliação relata cada achado em relação aos critérios acordados na proposta.

39.6 Atividade prática

Escreva a sua seção de avaliação e peça a um colega que rode de novo um resultado.

Avalie cada critério de sucesso com evidências, nomeie as limitações por tipo e o seu efeito provável, e registre o que continua incerto. Dê ao seu colega instruções claras e um limite de tempo, registre se ele reproduziu o resultado exatamente e anote qualquer passo que o tenha confundido. Corrija as instruções onde for preciso e depois acrescente os comentários dele e as suas respostas à avaliação. Mantenha a avaliação em até duas páginas e ponha as evidências detalhadas num apêndice, onde os leitores possam encontrá-las.

39.7 Erros comuns e limites

• Declarar sucesso sem evidência por critério.
• Esconder as limitações.
• Ignorar os achados dos revisores.
• Relatar apenas os resultados que sustentam a conclusão.
• Tratar uma limitação como motivo para descartar o trabalho, em vez de delimitá-lo.
• Chamar um critério de cumprido quando a evidência é parcial.
• Pedir revisão a quem dificilmente vai questionar você.
• Deixar as incertezas sem data.

Cada um desses torna a avaliação menos útil para o leitor que precisa agir com base nela. Um revisor independente ajuda a pegar a maioria deles. Peça um cedo.

39.8 Aprendendo com a avaliação

Termine a avaliação com lições para o próximo projeto: quais escolhas de método funcionaram, quais hipóteses eram as mais fracas e o que você mediria primeiro se começasse de novo. Essas lições são úteis para a organização e para os futuros estudantes, e mostram aos examinadores que você entende o lugar do trabalho num programa contínuo, em vez de tratá-lo como concluído.

Mantenha as lições breves e específicas. No projeto final da CBOM, por exemplo, a hipótese mais fraca era a parcela de ativos desconhecidos, então a primeira lição foi medi-la cedo em qualquer inventário real antes de confiar na classificação.

Exercícios

• EX077 — Sucesso parcial. Escreva uma frase de avaliação para um critério parcialmente cumprido. Rubrica: 3 = status, evidência, motivo.
• EX078 — Efeito de uma limitação. Para "rede emulada em vez das agências reais", declare a direção provável do viés nos resultados de latência. Rubrica: 3 = subestima a latência de cauda/os efeitos de middleboxes, explicado.

Síntese

A avaliação compara honestamente os resultados com os critérios, nomeia as limitações e os seus efeitos, incorpora a revisão independente e declara a incerteza residual.