Capítulo 39 — Avaliação do trabalho de conclusão
Mapa da aula
Aula 39 publicada. Mapa, exemplo, EX115.
flowchart TD
N0["39.1 Contra a proposta"]
N1["39.2 Resultados versus interpretação"]
N2["39.3 Rubrica de autoavaliação"]
N3["39.4 Plano para um sucessor"]
N4["39.5 A visão do orientador"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX115"]
Desenho lógico
flowchart LR
N0["39.1 Contra a proposta"]
N1["39.2 Resultados versus interpretação"]
N2["39.3 Rubrica de autoavaliação"]
N3["39.4 Plano para um sucessor"]
N4["39.5 A visão do orientador"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX115"]
[39.1 Contra a proposta]
|
v
[39.2 Resultados versus interpretação]
|
v
[39.3 Rubrica de autoavaliação]
|
v
[39.4 Plano para um sucessor]
|
v
[39.5 A visão do orientador]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX115]
Objetivos de aprendizagem
Você vai (1) avaliar um trabalho de conclusão contra a sua própria proposta; (2) separar resultados, interpretação e limitações; (3) fazer uma autoavaliação estruturada contra a rubrica do curso; e (4) planejar o trabalho de que um sucessor precisaria.
39.1 Contra a proposta
Volte aos critérios de aceitação escritos no Capítulo 35. Para cada um, registre atendido, parcialmente atendido ou não atendido, com evidências. Um trabalho de conclusão que não atende a um critério, mas explica por quê — por exemplo, a classe de deriva não pôde ser detectada só com regras —, ainda pode receber uma nota alta.
A tabela de avaliação de Maya mostra os três resultados possíveis em uso. Os critérios 1 e 2 são atendidos, com a matriz de confusão e os denominadores como evidência, enquanto o critério 3 é parcialmente atendido: cinco de seis classes de ataque após a regra cumulativa, com a escrita interna originada na HMI ainda não detectada e o motivo declarado.
39.2 Resultados versus interpretação
Resultados são o que a avaliação produziu: "revocação de 4/5 no conjunto de oito casos". Interpretação é o que você acha que isso significa: "a regra cumulativa trata a manipulação lenta". As limitações delimitam a interpretação: "testado apenas em dados sintéticos, com um único perfil de deriva". Manter três títulos impede que os resultados absorvam opiniões em silêncio. Na tese de Maya, a revocação subiu para 4/5 no conjunto de oito casos depois que a regra de mudança cumulativa pegou o ataque de deriva; a escrita da HMI-1 continua sendo a falha de detecção. Essa frase é um resultado. "O monitor é adequado para a LDHP" seria uma interpretação que a limitação, um único perfil de deriva em dados sintéticos, ainda não sustenta.
39.3 Rubrica de autoavaliação
Dê a si mesmo notas de 0 a 3 em: enquadramento do problema, adequação do método, qualidade das evidências, segurança e ética, comunicação. Escreva uma frase de evidência por nota. Os orientadores usam a mesma rubrica; as diferenças abrem uma conversa útil. Maya deu a si mesma 2 em qualidade das evidências, com a frase "oito casos é um conjunto de brinquedo", e 3 em segurança e ética, com "apenas offline, documentado". As resoluções explicam por que 2, e não 3, é justo: a análise é reprodutível e relata denominadores, mas oito casos sintéticos com um único perfil de deriva não sustentam afirmações gerais. Uma autoavaliação de 3 nesse ponto teria sido o primeiro ponto de desacordo com o orientador.
39.4 Plano para um sucessor
Liste o que você faria com mais três meses: um segundo modelo de processo, capturas reais anonimizadas (fornecidas por um proprietário), um estudo de usabilidade com operadores. Classifique pelo valor para a pergunta. Para Maya, a classificação põe em primeiro lugar a escrita originada na HMI, porque é a classe que o seu monitor ainda deixa passar: correlacionar as escritas com os logins dos operadores em capturas anonimizadas fornecidas pelo proprietário testaria a solução. Um segundo modelo de processo, como o vaso de expansão do Capítulo 21, vem em seguida, já que um monitor ajustado a uma malha pode não se transferir. Um estudo de usabilidade com operadores vem por último, porque só importa depois que o monitor detecta as classes que importam.
Exemplo resolvido (LDHP sintética)
A tabela de avaliação de Maya: critério 1 (processa o conjunto de 8 casos, relata a matriz de confusão) — atendido; critério 2 (precisão e revocação com denominadores) — atendido; critério 3 (detecta as seis classes de ataque) — parcialmente atendido, cinco de seis depois da regra cumulativa, com a escrita de insider originada na HMI ainda não detectada. Autoavaliação: qualidade das evidências 2 ("oito casos é um conjunto de brinquedo"), segurança 3 ("apenas offline, documentado").
Caso sintético — Lakeside District Heating Plant. As notas são uma ilustração resolvida.
39.5 A visão do orientador
Os orientadores procuram o alinhamento entre a pergunta, as evidências e as afirmações. Um comentário frequente nesta etapa é que a seção de conclusão repete os resultados em vez de responder à pergunta de pesquisa. Reescreva a conclusão para que a primeira frase responda diretamente à pergunta do Capítulo 35, a segunda declare a limitação mais forte e a terceira nomeie o próximo estudo. A primeira frase de Maya responderia diretamente à pergunta da sua proposta: em capturas sintéticas da LDHP, o monitor baseado em regras classificou corretamente cinco de seis classes de ataque.
Erros e limites
A autoavaliação tende a dar notas altas demais à comunicação e baixas demais à adequação do método. Não redefina os critérios de aceitação depois do fato para ajustá-los aos resultados.
Exercícios
- EX115 — Classificando três frases. Rotule como resultado, interpretação ou limitação: (a) "precisão de 4/5"; (b) "a ferramenta está pronta para um piloto"; (c) "um único perfil de deriva testado". Rubrica: 3 = R, I, L; 2 = duas; 1 = uma; 0 = nada.
- EX116 — Pontuando a qualidade das evidências. Justifique uma nota 2 (e não 3) para a qualidade das evidências no trabalho de conclusão de Maya. Rubrica: 3 = reprodutível e correto, mas o pequeno conjunto sintético limita a generalidade; 2 = parcial; 1 = "poderia ser melhor"; 0 = nada.
- EX117 — A principal tarefa do sucessor. Qual tarefa do sucessor mais fortalece a pergunta de pesquisa, e por quê? Rubrica: 3 = modelo de processo adicional ou capturas fornecidas pelo proprietário para testar a generalização; 2 = só a tarefa; 1 = polir a interface; 0 = nada.
Síntese
Avalie um trabalho de conclusão contra as suas próprias promessas, mantenha os resultados separados das opiniões e deixe um caminho classificado para quem continuar o trabalho.
Continue estudando — capítulo 39 de 40
← Capítulo 38 · Índice de capítulos do curso · Capítulo 40 →
Siga para a próxima lição escrita.