Capítulo 35 — Ateliê de projeto II
Mapa da aula
Aula 35 publicada. Mapa, exemplo, EX103.
flowchart TD
N0["35.1 Briefing sintético"]
N1["35.2 O que há de novo em relação ao Ateliê I"]
N2["35.3 Banca multidisciplinar"]
N3["35.4 Iteração"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX103"]
Desenho lógico
flowchart LR
N0["35.1 Briefing sintético"]
N1["35.2 O que há de novo em relação ao Ateliê I"]
N2["35.3 Banca multidisciplinar"]
N3["35.4 Iteração"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX103"]
[35.1 Briefing sintético]
|
v
[35.2 O que há de novo em relação ao Ateliê I]
|
v
[35.3 Banca multidisciplinar]
|
v
[35.4 Iteração]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX103]
Objetivos de aprendizagem
Você vai (1) projetar um sistema completo com IA, com requisitos de segurança, segurança física e operação; (2) produzir um caso de segurança física e de segurança; (3) defender o projeto diante de uma banca multidisciplinar; e (4) iterar da crítica a uma linha de base revisada.
35.1 Briefing (sintético)
Projete o "Yardmind", um sistema de IA para a NRS que usa as detecções do TrackEye, os alertas do Pulse e o Wrench para planejar e despachar equipes de manutenção em uma região, incluindo propor restrições de velocidade na via a um controlador humano. O Yardmind combina os três sistemas anteriores, então suas fraquezas podem se somar: um rótulo envenenado do TrackEye, uma leitura falsificada do Pulse ou um boletim injetado que chegue ao Wrench poderiam, cada um, influenciar o despacho de equipes. As restrições de velocidade elevam o que está em jogo, já que uma restrição suspensa por engano pode colocar trens em perigo diretamente. O briefing pede às equipes que mostrem até onde cada fraqueza a montante pode viajar e onde ela é barrada.
35.2 O que há de novo em relação ao Ateliê I
O Ateliê II acrescenta um caso de segurança física e de segurança: um argumento estruturado de que o sistema é aceitavelmente seguro, apoiado em evidências. Uma estrutura comum é afirmação → argumento → evidência: "O Yardmind não pode impor nem suspender uma restrição de velocidade sem a aprovação de um controlador" (afirmação), "todas as ações de restrição passam pelo ponto de aplicação, que exige uma decisão assinada do controlador" (argumento), "revisão de código CR-112, relatório de teste TR-208, teste de invasão PT-05" (evidência). Inclua premissas e refutadores (defeaters) — o que faria o argumento falhar. Os refutadores mantêm o caso honesto ao nomear o que derrubaria cada afirmação.
35.3 Banca multidisciplinar
A banca inclui um controlador (realismo operacional), um avaliador de segurança física (cobertura dos perigos), um red-teamer (caminhos de ataque), um encarregado de proteção de dados (dados pessoais das equipes) e um responsável financeiro. Cada um aprova ou lista condições. Cada perspectiva enxerga um risco diferente. O controlador sabe que uma proposta que chega durante um turno movimentado será aprovada depressa; o avaliador de segurança física verifica se todo perigo tem um controle; o red-teamer procura a entrada mais fraca; o encarregado de proteção de dados pergunta por que as localizações das equipes são armazenadas e por quanto tempo; o responsável financeiro pergunta se os controles cabem no orçamento. As condições de um papel às vezes conflitam com as de outro, e resolvê-las faz parte do exercício.
35.4 Iteração
As equipes revisam em uma semana e apresentam um delta: o que mudou, por quê e quais condições da banca agora estão atendidas. Condições não resolvidas se tornam riscos residuais explícitos, com responsáveis. Apresentar um delta mantém a segunda revisão focada. A banca não relê o projeto inteiro; verifica cada condição contra a mudança feita e a evidência oferecida. As condições que não podem ser atendidas dentro da semana não são escondidas: são registradas com um responsável e uma data, e o caso de segurança física e de segurança as mostra como refutadores em aberto.
35.5 Exemplo resolvido (caso sintético da NRS)
A equipe de Sam argumentou que o Yardmind poderia propor restrições de velocidade, mas nunca aplicá-las nem suspendê-las. O red-teamer perguntou sobre a suspensão: um feed do Pulse manipulado poderia levar o Yardmind a recomendar a suspensão prematura de uma restrição? A equipe acrescentou uma regra: recomendações de suspender restrições exigem duas fontes de evidência independentes (uma passagem do TrackEye e um registro de inspeção humana), e os controladores veem ambas. O avaliador de segurança física aceitou com a condição de que as recomendações de suspensão sejam registradas em log para auditoria mensal. A regra elimina um ponto único de falha: um feed do Pulse falsificado sozinho não consegue disparar uma recomendação de suspensão, porque também são necessários uma passagem do TrackEye e um registro humano.
35.6 Erros e limites
Três erros são comuns: casos de segurança sem refutadores; tratar "propor" como isento de risco quando os humanos aceitam propostas rotineiramente; e ignorar os dados pessoais das equipes no despacho. Um caso sem refutadores parece completo, mas não pode ser contestado, de modo que suas fraquezas ficam escondidas até um incidente. "Propor" só é seguro se os humanos revisarem as propostas com cuidado, e as medições de aprovação no capítulo sobre supervisão mostraram com que rapidez isso pode falhar. O despacho de equipes envolve localizações, padrões de turno e nomes, então a proteção de dados é um insumo do projeto, e não uma revisão posterior.
Exercícios
- EX103 — Afirmação–argumento–evidência. Escreva uma tripla afirmação–argumento–evidência para o Yardmind. Rubrica: 3 = afirmação específica, argumento sólido, itens de evidência concretos; 2 = um fraco; 1 = vago; 0 = nenhuma.
- EX104 — Refutador. Nomeie um refutador para a afirmação em 35.2 e como tratá-lo. Rubrica: 3 = por exemplo, assinatura do controlador forjada ou ponto de aplicação comprometido; proteção de chaves/monitor independente; 2 = só o refutador; 1 = vago; 0 = nenhum.
- EX105 — Regra de suspensão. Por que as recomendações de suspensão são tratadas com mais rigor que as de imposição? Rubrica: 3 = suspender remove uma proteção; as consequências de erro/ataque são maiores; risco assimétrico; 2 = parcial; 1 = vago; 0 = errado.
Síntese
O Ateliê II faz o projeto argumentar a seu próprio favor: um caso de segurança física e de segurança com evidências e refutadores, testado por uma banca multidisciplinar e revisado até um risco residual explícito.
Continue estudando — capítulo 35 de 50
← Capítulo 34 (rascunho) · Índice de capítulos do curso · Capítulo 36 (rascunho) →