Capítulo 39 — Avaliação do trabalho de conclusão

Mapa da aula

Aula 39 publicada. Mapa, exemplo, EX077.

flowchart TD
  N0["39.1 Contra os critérios que você definiu"]
  N1["39.2 Sensibilidade e robustez"]
  N2["39.3 Limitações com direção"]
  N3["39.4 Revisão independente"]
  N4["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4
  N4 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX077"]

Desenho lógico

flowchart LR
  N0["39.1 Contra os critérios que você definiu"]
  N1["39.2 Sensibilidade e robustez"]
  N2["39.3 Limitações com direção"]
  N3["39.4 Revisão independente"]
  N4["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX077"]

[39.1 Contra os critérios que você definiu]
    |
    v
[39.2 Sensibilidade e robustez]
    |
    v
[39.3 Limitações com direção]
    |
    v
[39.4 Revisão independente]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX077]

Objetivos de aprendizagem e conexão

Depois deste capítulo, você consegue (1) avaliar os resultados do seu trabalho de conclusão contra os critérios de sucesso fixados na proposta; (2) realizar verificações de sensibilidade e de robustez da sua comparação; (3) declarar as limitações de forma específica, com a sua provável direção de efeito; e (4) buscar uma revisão independente e responder a ela antes da monografia final. O capítulo se apoia nos Capítulos 34, 37 e 38 e prepara a monografia e a apresentação (Capítulo 40).

39.1 Contra os critérios que você definiu

A avaliação começa pelos critérios de sucesso da proposta (Capítulo 35). Eles foram cumpridos, parcialmente cumpridos ou não cumpridos? Reporte cada um com honestidade e com evidências. Depois avalie a própria comparação: as notas são sustentadas pelo registro de evidências; outra pessoa, usando as suas escalas ancoradas, daria notas semelhantes (pergunte a alguém); alguma restrição excluiu uma opção? Na avaliação resolvida (§39.5), houve uma entrevista e a segunda foi substituída por documentos, então o critério de contribuição dos profissionais é reportado como parcialmente cumprido, e não descartado em silêncio. Pedir a uma segunda pessoa que pontue duas opções com as suas escalas ancoradas é uma verificação rápida de confiabilidade; se as notas dela diferirem em mais de um ponto em qualquer critério, as suas âncoras precisam de uma redação mais clara antes da monografia.

39.2 Sensibilidade e robustez

Rode de novo a sua comparação sob variações plausíveis: pesos diferentes (Laboratório 13), evidências pessimistas e otimistas (a autonomia reduzida à metade do Capítulo 22), premissas alternativas do modelo (a variante do arquivo de imagens do Capítulo 38). Uma recomendação robusta se mantém na maioria das variações; uma frágil depende de uma premissa específica, que você precisa nomear. Apresente o resultado numa tabela curta: variação, vencedora, comentário. A avaliação resolvida mostra um resultado frágil: o gateway vence quando o peso do custo passa de 0,45, e a substituição acelerada vence quando se supõe que o monitoramento do isolamento não funciona. As duas coisas são nomeadas na conclusão como condições de reversão, para que o leitor veja em qual julgamento de valor e em qual premissa a recomendação se apoia.

39.3 Limitações com direção

"A amostra era pequena" é uma limitação fraca. Uma limitação útil diz o quê, por que importa e em que direção ela provavelmente enviesa o resultado. Por exemplo: "O modelo de exposição supõe que todo dispositivo sem suporte é igualmente explorável; na prática, os dispositivos próximos da internet estão mais expostos, então o modelo provavelmente subestima o benefício do isolamento para os dispositivos de imagem." As limitações com direção permitem que os leitores ajustem as suas conclusões, em vez de descartá-las. Quando a direção for genuinamente desconhecida, como no inventário sintético, diga isso explicitamente, em vez de deixar a limitação sem direção por omissão.

39.4 Revisão independente

Antes de a monografia ficar pronta, peça a alguém de fora do seu projeto — um colega do seminário (Capítulo 37), o seu supervisor no anfitrião, um acadêmico não envolvido — que revise o capítulo de avaliação. Registre os pontos levantados e as suas respostas. A independência é o elo mais fraco da maioria das evidências (Capítulo 15); o trabalho de conclusão é onde você pratica fortalecê-la. Na avaliação resolvida, o ponto do revisor sobre o monitoramento sem pessoal mudou a tabela principal: a variação pessimista virou um resultado de destaque, e a recomendação tornou-se condicional. Registre o papel e a independência do revisor ao lado de cada ponto, para que um avaliador possa julgar quanto peso a revisão carrega.

39.5 Exemplo resolvido: tabela de avaliação (sintético)

Esta avaliação é sintética. Trabalho de conclusão sobre dispositivos sem suporte:

Tabela da aula; deslize para ver todas as colunas →

Tabela da aula; deslize para ver todas as colunas →

Limitações (com direção): inventário sintético (direção desconhecida — declarada como tal); uma única entrevista com profissional (provavelmente subestima a perturbação clínica do isolamento, então a nota do isolamento pode ser otimista); o modelo de exposição ignora a escolha de alvos pelo atacante (provavelmente subestima o valor de remover primeiro os dispositivos mais expostos). Ponto principal do revisor: "a vantagem do isolamento depende de o monitoramento ter pessoal; mostre o que acontece se os alertas não forem revisados." Resposta: a variação pessimista trata disso e agora está na tabela principal.

39.6 Erros comuns e limites

• Mudar as regras do jogo: avaliar contra critérios inventados depois dos resultados.
• Análise de sensibilidade só sobre parâmetros irrelevantes.
• Limitações sem direção.
• Revisões feitas por pessoas que ajudaram a produzir o trabalho.

A avaliação resolvida evita o primeiro ao usar os critérios da proposta, varia os pesos que importam, dá uma direção a cada limitação e usa um revisor que não ajudou a produzir o trabalho. O segundo erro é comum: variar o peso da força da evidência, que quase não muda a ordenação, deixando intocado o custo, que a inverte. Uma limitação como "uma entrevista" sem direção deixa o leitor incapaz de ajustar o resultado. Um revisor que ajudou a construir o modelo de exposição não consegue fazer uma revisão independente dele.

Exercícios — capítulo 39

EX077 — Limitações com direção. Objetivo: escrever limitações úteis. Entradas: a comparação do Capítulo 34 (Laboratório 13). Etapas: escreva três limitações, cada uma com o quê, o porquê e a provável direção. Evidência esperada: três limitações. Rubrica: 3 = específicas (por exemplo, notas dadas por um único avaliador — direção desconhecida, resolver com um segundo avaliador; a nota dos backups ignora o roubo de dados — superestima o seu benefício contra o ransomware de dupla extorsão; as notas de custo excluem o tempo da equipe nos exercícios — superestimam a vantagem de custo dos backups); 2 = sem direção; 1 = genéricas; 0 = nada.

EX078 — Responda à revisão. Objetivo: lidar com a crítica. Entradas: o revisor diz "as suas evidências de tempo de restauração vêm de um único ambiente de teste e de cinco exercícios". Etapas: escreva uma resposta que aceite, aceite parcialmente ou recuse com os motivos, e declare qualquer mudança. Evidência esperada: resposta. Rubrica: 3 = aceita a limitação, acrescenta o intervalo de Wilson (Capítulo 37), declara as diferenças entre teste e produção e a direção do viés, ajusta a confiança na recomendação; 2 = aceita sem mudança; 1 = defensiva; 0 = nada.

Síntese do capítulo

Avalie contra os critérios que você definiu antes dos resultados, teste a robustez da comparação, declare as limitações com a sua direção e convide uma revisão independente. Uma recomendação frágil rotulada com honestidade é mais útil do que uma de aparência robusta que esconde a sua premissa.