OpenCyber Academy
Tecnólogo · Capítulo 30 · Português
Código do curso: OCA-092Capítulo 30: OCA-092-C030

Capítulo 30 — Avaliação do trabalho de conclusão

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Mapa da aula

Aula 30 publicada. Mapa, exemplo, EX088.

flowchart TD
  N0["30.1 A revisão de projeto"]
  N1["30.2 Evidências operacionais"]
  N2["30.3 Rubrica de avaliação"]
  N3["30.4 Falhas comuns nos trabalhos de conclusão"]
  N4["30.6 Olhando para trás: o método"]
  N5["30.7 Prática contínua"]
  N6["30.8 Atividade prática: autoavaliação"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
  N7 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX088"]

Desenho lógico

flowchart LR
  N0["30.1 A revisão de projeto"]
  N1["30.2 Evidências operacionais"]
  N2["30.3 Rubrica de avaliação"]
  N3["30.4 Falhas comuns nos trabalhos de conclusão"]
  N4["30.6 Olhando para trás: o método"]
  N5["30.7 Prática contínua"]
  N6["30.8 Atividade prática: autoavaliação"]
  N7["Síntese do capítulo"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX088"]

[30.1 A revisão de projeto]
    |
    v
[30.2 Evidências operacionais]
    |
    v
[30.3 Rubrica de avaliação]
    |
    v
[30.4 Falhas comuns nos trabalhos de conclusão]
    |
    v
[30.6 Olhando para trás: o método]
    |
    v
[30.7 Prática contínua]
    |
    v
[30.8 Atividade prática: autoavaliação]
    |
    v
[Síntese do capítulo]
    |
    v
[Exemplo resolvido] --> [Exercício EX088]

Objetivos de aprendizagem e conexão

Depois deste capítulo, você deve ser capaz de:

O plano de avaliação do curso tem três partes: um projeto de integração (Capítulo 29), evidências operacionais (o registro de evidências e os resultados dos testes ao longo do tempo) e uma revisão de projeto. Este capítulo explica como cada uma é avaliada e fecha o livro olhando para trás, para o método que ele ensinou.

30.1 A revisão de projeto

Uma revisão de projeto é uma conversa estruturada em que os revisores testam se o serviço cumpre os seus requisitos e preserva as suas propriedades principais. Prepare: a arquitetura com zonas, conduítes e caminhos de gerenciamento; a propriedade da direção da confiança e como cada mudança a preserva (Capítulo 8); os principais cenários de risco e o conjunto de controles de cada um (Capítulos 13 e 18); o registro de fluxos de dados (Capítulo 12); os riscos aceitos com responsáveis. Os revisores farão perguntas do tipo "o que acontece se…?": se o relay for comprometido; se uma chave vazar; se a operadora falhar; se a fonte da verdade da automação estiver errada; se a pessoa que o construiu sair. Responda com o projeto e as evidências, e diga "não testamos isso" quando for verdade — uma lacuna honesta pontua melhor do que um palpite confiante.

30.2 Evidências operacionais

As evidências operacionais são o registro do serviço em funcionamento: relatórios de saúde ao longo de semanas, alertas e o seu tratamento, testes de controles com resultados contra regras de afirmação (Capítulo 23), testes de restauração, revisões de acesso, relatórios de deriva, registros de problemas e revisões sem culpados com as suas mudanças. Os avaliadores procuram: evidências datadas e com fonte; contagens que fecham; regras de afirmação declaradas antes dos resultados; o "ainda não demonstrado" tratado com honestidade; e limites declarados (dados sintéticos, equipamentos de laboratório, períodos curtos).

O resumo da Equipe B neste capítulo é o modelo: contagens, um digest, uma regra de afirmação e uma lacuna declarada.

30.3 Rubrica de avaliação

Tabela da aula; deslize para ver todas as colunas →

Critério 3 — forte 2 — adequado 1 — fraco 0 — ausente
Função de ponta a ponta Todos os requisitos do Capítulo 29 ("O que o trabalho de conclusão precisa demonstrar") demonstrados com evidências brutas Um requisito com evidência rasa Função afirmada, não mostrada Não funciona
Controles e monitoramento Cada cenário principal tem controles de prevenção/detecção/recuperação testados contra regras de afirmação; automonitoramento presente Lacunas num cenário ou sem automonitoramento Controles configurados, mas não testados Nenhum
Propriedades de projeto Direção da confiança e independência das camadas preservadas e argumentadas; caminhos de gerenciamento mostrados Uma propriedade fracamente argumentada Só o diagrama Nenhuma
Operabilidade e passagem Runbooks testados por outras pessoas; evidências de saúde; passagem com itens em aberto Runbooks não testados por outras pessoas Só documentos Nenhuma
Qualidade das evidências Datadas, com fonte, fecham, com digest, limites declarados Uma fraqueza Várias fraquezas Nenhuma
Honestidade sobre os limites Lacunas e "ainda não demonstrado" declarados claramente, com planos Declarados, mas sem planos Lacunas escondidas —
Safety e ética Todo o trabalho prático dentro da autorização; nenhum sistema real tocado — Pequeno deslize Atividade não autorizada (reprova no trabalho de conclusão)

30.4 Falhas comuns nos trabalhos de conclusão

Os trabalhos de conclusão que se saem pior raramente são os menos técnicos. São os que apresentam configuração como evidência, escondem um teste que falhou, escolhem as regras de afirmação depois dos resultados, testam só componentes ou descrevem um projeto com o qual as evidências não batem. Os que se saem melhor costumam ser modestos no escopo e exatos nas evidências.

A Equipe A, "totalmente protegido… todos os testes passaram", mostra as duas primeiras falhas.

A Equipe B, ao contrário, relata os testes extras da Regra C, os 4 de 6 da FIM e um comprometimento de chave não testado.

30.5 Exemplo resolvido: dois resumos de trabalho de conclusão (sintético)

Equipe A: "O LANTERN está totalmente protegido com HMAC, validação, monitoramento e backups. Todos os testes passaram." Equipe B: "Quatro de quatro falhas injetadas foram detectadas na execução final (digest do registro aa40e3905d17…). A Regra C só cumpriu a sua regra de afirmação depois de testes adicionais (12/12 depois de mais quatro sucessos, limite inferior 0,76); a detecção da FIM ainda não está demonstrada (4/6, verificações diárias lentas demais — mudança aberta). Encontramos e corrigimos um defeito de estado de replay durante a integração (Capítulo 29). A restauração do historiador cumpriu o seu RTO de 4 horas em 9 de 10 exercícios; a falha foi uma lacuna no runbook, corrigida e testada de novo. Não testamos o comprometimento de chaves nem a falha da operadora em escala." O resumo da Equipe B pontua mais em todos os critérios, exceto talvez na confiança — e a confiança não é um critério.

30.6 Olhando para trás: o método

O curso ensinou um único método, aplicado trinta vezes: saber o que precisa continuar verdadeiro sobre o serviço; construí-lo para que continue verdadeiro; conferir que continua, com evidências que outra pessoa consiga verificar; perceber rapidamente quando deixa de ser; responder sem destruir evidências; e passá-lo adiante para que outros possam fazer o mesmo. O vocabulário muda com o setor — cloro e bombas na água, bibliotecas de medicamentos num hospital, quadros de horários num depósito —, mas o método se transfere.

A PS-09 percorreu o método inteiro uma vez: silenciosa, reconciliada, alertada, explicada pelo seu relógio.

30.7 Prática contínua

Os serviços e as ameaças mudam; as normas também. Mantenha um plano curto de prática contínua: releia as principais normas em que você se apoia quando forem revisadas (NIST CSF 2.0, SP 800-82, os CISA CPGs, as orientações setoriais da sua jurisdição); acompanhe os avisos dos produtos do seu inventário; participe de exercícios; revise um relatório público de incidente por mês em busca de premissas que falharam (Capítulo 5); e busque revisão do seu próprio trabalho. O próximo curso na trilha de estudos, o bacharelado em Cibersegurança, amplia os fundamentos por trás de grande parte do que este livro aplicou.

30.8 Atividade prática: autoavaliação

Pontue o seu trabalho de conclusão contra a rubrica de avaliação acima antes que o seu avaliador o faça. Para cada critério abaixo de 3, escreva que evidência o elevaria e quando você poderia produzi-la.

Use o resumo da Equipe B como o padrão das evidências que cada nota exige. Se, no seu registro, a Regra C só cumpriu a regra de afirmação depois de testes extras, diga isso e dê as contagens, como a Equipe B fez com 12 de 12 e limite inferior de 0,76. Se a FIM ainda não estiver demonstrada no seu registro, pontue esse critério com honestidade e nomeie a mudança que o elevaria, como verificações de integridade mais frequentes nos arquivos críticos, com uma data para o novo teste. Uma autoavaliação que difere da do avaliador em mais de um ponto em qualquer critério geralmente indica evidências ausentes, e não um trabalho fraco.

Exercícios — capítulo 30

EX088 — Responda aos revisores. Objetivo: defender um projeto com honestidade. Entradas: perguntas: (a) "O que acontece se a chave HMAC do relay vazar?"; (b) "E se a pessoa que construiu a automação sair?"; (c) "E se a BayTel ficar fora do ar por um dia?" Restrições: responda a partir do projeto e das evidências deste livro; diga onde faltam evidências. Etapas: responda a cada uma em 100–150 palavras. Evidência esperada: três respostas. Rubrica: 3 = (a) chaves por estação limitam o impacto; a detecção por origem inesperada ou anomalias de sequência é fraca — admite a lacuna; runbook de rotação testado; etapas de revogação; (b) revisão, rodízio de papéis, runbooks, pipeline protegido, passagem — com evidências de acompanhamento; (c) as estações guardam 24 h em buffer, alertas de silêncio, gatilho de leituras manuais, folga para o envio do acúmulo — e declara se uma interrupção de um dia já foi exercitada; 2 = uma resposta fraca; 1 = confiante sem evidências; 0 = nada.

EX089 — Avalie a Equipe A e a Equipe B. Objetivo: aplicar a rubrica. Entradas: os resumos do Capítulo 30 ("Exemplo resolvido: dois resumos de trabalho de conclusão"). Restrições: pontue apenas o que o resumo mostra. Etapas: pontue as duas em cada critério e justifique. Evidência esperada: tabela. Rubrica: 3 = Equipe A baixa em qualidade das evidências e honestidade (só afirmações), desconhecida nos outros; Equipe B alta em qualidade das evidências e honestidade, de adequada a forte em controles, com lacunas declaradas; o avaliador registra que evidências adicionais são necessárias para cada uma; 2 = notas defensáveis, justificativa rasa; 1 = notas pela confiança do tom; 0 = nada.

EX090 — Plano de prática contínua. Objetivo: planejar manter-se atualizado. Entradas: os produtos do seu inventário e as orientações setoriais da sua jurisdição. Restrições: uma página; atividades mensais, trimestrais e anuais; fontes nomeadas com versões. Etapas: escreva o plano. Evidência esperada: plano. Rubrica: 3 = fontes e versões específicas (por exemplo, NIST CSF 2.0, SP 800-82 Rev. 3, CISA CPGs ou NCSC CAF), assinaturas de avisos para os produtos do inventário, leitura mensal de relatórios de incidentes, participação trimestral em exercícios, revisão anual das normas, revisão por pares; carga de trabalho realista; 2 = fontes genéricas; 1 = intenção vaga; 0 = nada.

Síntese do capítulo

O trabalho de conclusão é avaliado pela revisão de projeto, pelas evidências operacionais e pelo projeto de integração. Os revisores recompensam projetos que preservam as suas propriedades principais, controles testados contra regras de afirmação declaradas de antemão, evidências datadas, com fonte, consistentes e protegidas, e honestidade sobre o que não foi demonstrado. O método do curso — saber o que precisa continuar verdadeiro, construir para isso, conferir, perceber a falha, responder com cuidado, passar adiante — se transfere entre setores e precisa ser mantido atualizado pela prática contínua.

Respostas comentadas

EX088 — Responda aos revisores. (a) Vazamento de chave: as chaves são por estação, então uma chave vazada permite que um atacante se passe por uma estação, e não por todas; mensagens forjadas passariam pelo MAC e pela validação se fossem plausíveis; a detecção é fraca — números de sequência duplicados vindos de duas origens ou valores em desacordo com as estações vizinhas poderiam mostrá-lo, mas isso não foi testado; resposta: revogar e rotacionar usando o runbook testado e tratar os dados daquela estação como não confiáveis até a rotação. (b) Quem construiu sai: o estado desejado e a automação estão num repositório revisado, com pelo menos dois mantenedores; os runbooks foram seguidos pela equipe que recebe durante o acompanhamento; as credenciais estão num cofre, e não com a pessoa; o acesso é removido pelo processo de saída. (c) BayTel fora do ar por um dia: as estações guardam 24 h em buffer; os alertas de silêncio disparam; a Água passa para leituras manuais; no retorno, o envio do acúmulo foi testado para 4 h, mas não para 24 h — uma lacuna honesta, com um teste planejado.

EX089 — Avalie a Equipe A e a Equipe B. Equipe A: função de ponta a ponta 1 (afirmada), controles 1 (configurados, sem resultados de teste), propriedades de projeto — desconhecidas, operabilidade — desconhecida, qualidade das evidências 0–1 (sem datas, contagens nem digest), honestidade 1 (nenhuma lacuna declarada). Equipe B: função 3 (quatro de quatro, com digest), controles 2–3 (regras de afirmação aplicadas, FIM ainda não demonstrada, com mudança aberta), propriedades de projeto — não mostradas no resumo, operabilidade 2 (lacuna no runbook encontrada e corrigida), qualidade das evidências 3, honestidade 3 (áreas não testadas nomeadas). O avaliador pede à Equipe A as evidências brutas e à Equipe B o material da revisão de projeto antes das notas finais.

EX090 — Plano de prática contínua. Mensal: ler os avisos dos produtos do inventário (avisos dos fornecedores; feeds dos CERTs nacionais; CISA KEV) e um relatório público de incidente, anotando as premissas que falharam; revisar as tendências do relatório de saúde. Trimestral: participar de um exercício ou teste de controle; revisar as constatações da revisão de acessos e da deriva com um colega. Anual: reler as versões em uso do NIST CSF 2.0, do SP 800-82 Rev. 3 e dos CISA CPGs ou do NCSC CAF, e as orientações setoriais da jurisdição; verificar se houve revisões; atualizar os cartões de controle afetados; buscar uma revisão externa de uma parte do seu próprio trabalho. Carga de trabalho: cerca de quatro horas por mês.