Capítulo 12 — Revisão final e transferência | Pós-graduação Segurança de IA e aprendizado de máquina

Ensino gratuito e aberto para quem deseja proteger pessoas e tecnologias. Não é preciso criar uma conta para estudar ou consultar as respostas.

Capítulo 12 — Revisão final e transferência

Mapa da aula

Aula 12 publicada. Mapa, exemplo, EX056.

flowchart TD
  N0["12.1 Princípios a manter"]
  N1["12.2 Transferência para novas tecnologias"]
  N2["12.3 Plano pessoal de prática"]
  N3["12.4 Orientação"]
  N4["12.5 Verificação de prontidão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX056"]

Desenho lógico

flowchart LR
  N0["12.1 Princípios a manter"]
  N1["12.2 Transferência para novas tecnologias"]
  N2["12.3 Plano pessoal de prática"]
  N3["12.4 Orientação"]
  N4["12.5 Verificação de prontidão"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX056"]

[12.1 Princípios a manter]
    |
    v
[12.2 Transferência para novas tecnologias]
    |
    v
[12.3 Plano pessoal de prática]
    |
    v
[12.4 Orientação]
    |
    v
[12.5 Verificação de prontidão]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX056]

Objetivos de aprendizagem

Você vai (1) revisar os princípios centrais do curso; (2) transferi-los para novas tecnologias de IA; (3) montar um plano pessoal de prática; (4) orientar outras pessoas; e (5) avaliar sua própria prontidão para liderar.

12.1 Princípios a manter

Decida entre opções com a incerteza explícita. Mapeie cada sistema para as taxonomias e depois para seus próprios dados, ferramentas e pessoas afetadas. Suponha que os modelos podem ser conduzidos; imponha as consequências fora deles. Avalie de forma adaptativa, meça efeitos e relate intervalos. Integre a IA aos processos existentes. Garanta as afirmações com evidências datadas e mantenha-as atualizadas. Leia pesquisas pelo modelo de ameaça. Cada princípio aparece no trabalho da Corvane: o registro da decisão sobre reembolsos, o mapeamento do Copilot, o serviço de política e o caso de garantia datado. Use-os como lista de verificação para trabalhos novos.

12.2 Transferência para novas tecnologias

Novas capacidades — agentes que operam computadores, entradas multimodais, modelos no próprio dispositivo, protocolos entre modelos — continuarão chegando. Faça as mesmas perguntas: que entrada não confiável chega ao modelo? O que ele pode fazer? O que impõe limites fora dele? Que evidências mostram que os limites se sustentam? As entradas multimodais, por exemplo, estendem o canal de injeção a imagens e áudio; o princípio de separar o conteúdo não confiável da autoridade continua valendo. O agente de operação de computador de Amira, no exemplo resolvido abaixo, mostra a transferência: as páginas do portal são entrada não confiável, e um proxy impõe as operações listadas.

12.3 Plano pessoal de prática

Planeje o próximo ano: um sistema que você vai garantir de ponta a ponta; uma avaliação que vai automatizar; um artigo por mês; uma contribuição à comunidade (um conjunto de testes, uma palestra, um comentário a um framework); e compromissos éticos — testes autorizados, divulgação coordenada, relato honesto. Torne cada item mensurável, com uma data. Por exemplo, um sistema garantido de ponta a ponta poderia ser um sistema de nível alto da sua organização com um caso de garantia datado e uma avaliação que é reexecutada automaticamente. Revise o plano com um colega a cada trimestre.

12.4 Orientação

Ensine os mais novos a perguntar "o que ele pode fazer?" antes de "o que ele pode dizer?". Revise as avaliações deles em busca de casos adaptativos e intervalos. Compartilhe registros de decisão, para que vejam o raciocínio, e não apenas os resultados.

"""Lab B: base rates and alarm precision (Bayes' rule).
A detector for malicious prompts with given true- and false-positive rates
is applied to traffic with different shares of malicious prompts."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
    for prev in (0.10, 0.01, 0.001):
        tp = tpr * prev; fp = fpr * (1 - prev)
        prec = tp / (tp + fp)
        per_10k = round(10000 * (tp + fp))
        print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")

Saída esperada:

tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18

Na Corvane, o estágio de Tomás ilustra o ponto: ele aprendeu com os registros de decisão e as revisões de Amira e depois escreveu seu próprio harness e seu runbook. Peça aos mais novos que expliquem o raciocínio deles antes de você dar o seu e revise o trabalho deles com os mesmos princípios que aplica ao seu. Deixe-os cometer pequenos erros em ambientes seguros.

12.5 Verificação de prontidão

Você consegue escrever um registro de decisão com base no qual um conselho possa agir? Consegue projetar uma avaliação capaz de mudar uma decisão? Consegue explicar por que um detector com 95% de acerto pode produzir sobretudo alarmes falsos (o laboratório: com prevalência de 0,1%, a precisão é de 1,9%)? Consegue conduzir uma decisão contestada sem esconder a incerteza? Responda a cada pergunta com um exemplo do seu próprio trabalho, como um registro de decisão ou uma avaliação, e peça a um colega que julgue se ele convenceria um conselho. Onde não conseguir, planeje como desenvolver essa competência neste ano.

12.6 Exemplo resolvido (caso sintético da Corvane)

Um ano depois, a Corvane planeja um agente de operação de computador para usar um portal legado de transportadoras. Amira aplica as mesmas perguntas: as páginas do portal são entrada não confiável; os cliques do agente são ações; a imposição de limites precisa ficar num proxy que permita apenas as operações listadas, com as credenciais do usuário; a avaliação precisa de páginas adaptativas com instruções escondidas. Seu registro de decisão propõe primeiro um piloto de três meses com operações somente de leitura. A proposta segue o mesmo raciocínio das decisões de reembolso e de remarcação. A avaliação e a imposição de limites são planejadas antes que qualquer operação de escrita seja permitida.

12.7 Erros e limites

Três erros são comuns: tratar cada nova tecnologia como se precisasse de novos princípios; planos sem compromissos mensuráveis; e orientação que transfere respostas em vez de raciocínio. Cada erro enfraquece a transferência. Novas tecnologias exigem as mesmas perguntas sobre entrada não confiável e imposição de limites; inventar princípios novos a cada vez perde o que foi aprendido. Um plano sem compromissos mensuráveis é facilmente abandonado; dê uma data a cada item e revise o plano com um colega a cada trimestre. Uma orientação que entrega respostas deixa os mais novos incapazes de raciocinar sobre o próximo sistema. Verifique os três pontos no seu plano de prática.

Exercícios

EX056 — Princípios. Enuncie os cinco princípios que você ensinaria primeiro, com uma frase para cada. Rubrica: 3 = cinco pertinentes; 2 = quatro; 1 = dois; 0 = nenhum.
EX057 — Transferência. Aplique as quatro perguntas a um assistente de voz capaz de fazer pedidos. Rubrica: 3 = as quatro respondidas de forma concreta; 2 = três; 1 = uma ou duas; 0 = nenhuma.
EX058 — Taxa de base. Usando o laboratório, explique a carga de alertas de um detector com 1% de falsos positivos e prevalência de 1%. Rubrica: 3 = precisão de 0,49, 194 alertas por 10 mil, implicação; 2 = só os números; 1 = um; 0 = errado.
EX059 — Plano de prática. Escreva o seu plano de um ano. Rubrica: 3 = cinco itens mensuráveis, incluindo ética; 2 = quatro; 1 = dois; 0 = nenhum.
EX060 — Piloto. Justifique começar somente com leitura no agente de operação de computador. Rubrica: 3 = reversibilidade, coleta de evidências, dano limitado, gatilhos; 2 = três; 1 = um; 0 = nenhum.

Síntese

Os princípios deste curso se transferem para novas tecnologias de IA porque tratam de autoridade, evidências e responsabilização, e não de um modelo específico. Continue praticando, orientando e revisando esses princípios.

Continue estudando — capítulo 12 de 12

← Capítulo 11 (rascunho) · Índice de capítulos do curso · Resultados resolvidos ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo para EX001–EX060. A Corvane Freight e todos os seus números são sintéticos. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.

EX001. Pergunta: um LLM pode resumir reclamações de RH para os responsáveis pelos casos? Opções: não; resumos apenas para os responsáveis, com links para as fontes; resumos com encaminhamento automático. Consequências: reclamações distorcidas, vazamento de dados sensíveis, risco de retaliação para quem reclama. Evidências: acurácia do piloto (estimativa), projeto do controle de acesso (fato), termos de retenção do fornecedor (fato), exposição à injeção pelo texto das reclamações (suposição a testar). Valores: a proteção de quem reclama pesa mais do que a rapidez. Decisão e responsável: resumos apenas para os responsáveis pelos casos, sob responsabilidade do diretor de RH. Gatilhos: revisão em seis meses, após qualquer vazamento ou numa mudança de modelo.

EX002. "0 de 400 conversas adversariais" é um fato (observado). "Economia de €180.000" é uma estimativa. "As conversas de teste representam atacantes reais" é uma suposição. "Aceitar até €10.000 em reembolsos indevidos" é um valor. "Limite superior ≈0,75%" é uma estimativa derivada do fato.

EX003. Cerca de 3/1.000 = 0,3%. Em 60.000 reembolsos, isso significa até aproximadamente 180 reembolsos indevidos como pior caso plausível. Isso supõe que as tentativas são independentes e representam ataques reais; atacantes adaptativos podem se sair melhor.

EX004. Govern: quem é o responsável pelo risco de reembolso e pelo apetite? Map: quem é afetado e quais entradas não são confiáveis? Measure: qual é a taxa adversarial de reembolsos fora da política, com seu intervalo? Manage: que limites, monitoramento e reversão existem?

EX005. Mudanças de endereço só passam a valer após confirmação pelo canal cadastrado do titular da conta, com um atraso de 24 horas durante o qual a mudança pode ser revertida. Uma feature flag desativa a ferramenta, com um gatilho para desligá-la diante de mais de 3 reclamações por semana.

EX006. O modelo lê uma instrução escondida num e-mail → integridade/uso indevido em IA generativa, acesso por consulta (injeção indireta). Placa de pare com adesivos → integridade, acesso físico à entrada (evasão). Envios de treinamento com rótulos errados → integridade, acesso aos dados de treinamento (envenenamento). "Este registro estava no treinamento?" → privacidade, acesso por consulta (inferência de pertencimento). Replicar um modelo por sua API → privacidade/confidencialidade, acesso por consulta (extração).

EX007. O FraudScore é um modelo preditivo, por isso se mapeia para evasão segundo o NIST (fornecedores moldando faturas para evitar sinalizações), envenenamento (rótulos manipulados) e extração por pontuação repetida. O DocRead enfrenta evasão por digitalizações forjadas. Se a saída do DocRead alimentar um LLM, LLM01 e LLM05 do OWASP se aplicam a jusante. Nota de escopo: o OWASP LLM Top 10 visa aplicações de LLM, de modo que, para esses modelos, as classes do NIST se ajustam melhor.

EX008. A filtragem por palavras-chave bloqueia apenas os documentos que contêm a palavra listada ("ignore", as notas); as dez faturas trazem linhas ACTION simples sem ela, por isso passam. Os memorandos ofuscados não geram chamada nesse modo apenas porque ele analisa linhas "ACTION:" exatas. A separação significa que documentos não confiáveis nunca chegam ao componente que emite chamadas de ferramenta, de modo que o próprio canal é removido. O laboratório é um modelo de brinquedo, e uma separação real ainda pode vazar pelos valores dos campos.

EX009. Maduras: inventários; limites de taxa. Parcialmente maduras: classificadores de injeção, que ajudam mas podem ser contornados de forma adaptativa. Pesquisa: robustez certificada para modelos grandes; detecção confiável de backdoors, em que Hubinger et al. mostram comportamento enganoso que persiste.

EX010. "Estudos mostram que texto injetado pode conduzir modelos em aplicações reais e que os ataques se transferem entre modelos. Não conseguimos fazer o modelo obedecer com confiabilidade, mas podemos torná-lo inofensivo quando não obedece: uma verificação de política fora do modelo limita os reembolsos e custa uma chamada de serviço. Sem ela, um único ataque bem-sucedido pode esgotar o orçamento de reembolsos; com ela, o pior caso é limitado e auditável."

EX011. Da mais fraca para a mais forte: 1. O folheto do fornecedor. 2. O documento de projeto dos controles. 3. A revisão de configuração do serviço de política. 4. Testes com conjunto fixo. 5. Resultados adaptativos de red team com medição de chamadas de ferramenta.

EX012. 3/20 tem um intervalo largo (cerca de 5–36%), por isso sustenta apenas "provavelmente abaixo de ~36%". 300/2.000 estreita para cerca de 13,5–16,6% e sustenta comparações precisas.

EX013. Usa apenas cadeias públicas, logo é não adaptativa. Mede a saída do classificador em vez de efeitos. Não relata intervalo nem taxa de recusas indevidas. Quem avaliou foi o próprio fornecedor, logo não é independente.

EX014. Um backdoor pode deixar a acurácia limpa inalterada enquanto o sucesso do ataque é alto. O laboratório mostra acurácia limpa de 0,968 ao lado de sucesso de ataque de 0,980, de modo que qualquer um dos números sozinho engana.

EX015. "Em 300 conversas adaptativas reservadas numa cópia isolada (modelo v3, prompt p12, outubro de 2026), nenhum reembolso fora da política chegou ao pagamento; o limite superior de 95% é de cerca de 1%. Isso depende do serviço de política, não do modelo nem do filtro."

EX016. Clientes podem ser recusados por engano (reparação: escalar para um humano). A Corvane perde dinheiro com reembolsos indevidos (reparação: limites e auditoria). Funcionários podem ser culpados por ações do agente (reparação: logs). Vítimas de fraude cujas contas são usadas para reembolsos fraudulentos (reparação: verificações de identidade e estorno). Transportadoras afetadas por remarcações equivocadas (reparação: notificação).

EX017. Os revisores veem um código de motivo e uma nota de limites conhecidos, como "pequenos fornecedores irregulares são mais sinalizados". Podem anular uma sinalização, e toda anulação é registrada. Um botão de parada volta à revisão manual. O treinamento cobre o viés de automação.

EX018. Relatar em privado ao contato de segurança do fornecedor, com uma reprodução mínima. Combinar um prazo de 90 dias. Aplicar mitigações internas de imediato (limites, monitoramento). Publicar só depois de uma correção, sem um exploit funcional que ponha outros em perigo.

EX019. Recusar-se a remover a constatação. Documentar o pedido e as razões. Explicar quem poderia ser prejudicado. Escalar para o comitê de risco ou o canal de ética, oferecendo-se para acrescentar contexto ou uma resposta da gestão em vez de apagá-la.

EX020. "Risco: pequenos fornecedores são sinalizados de forma desproporcional e atrasados. Afetados: pequenos fornecedores. Tratamento: códigos de motivo, revisão em 5 dias, recurso. Residual: algum atraso de poucos dias permanece. Aceito pelo diretor financeiro em 12 de outubro de 2026; revisão em seis meses ou ao atingir 20 recursos."

EX021. Mínimo: o modelo redige respostas apenas a partir de documentos de política, e a equipe as verifica. Limitado: o modelo responde usando os próprios registros de folha do funcionário, obtidos com as credenciais desse funcionário. Amplo: o modelo consulta livremente o banco de dados da folha. Risco e valor crescem do mínimo para o amplo.

EX022. O modelo leitor converte o e-mail em campos tipados (ID da remessa, data, código do depósito). O planejador vê apenas esses campos e não consegue ler instruções embutidas. O risco residual é que valores maliciosos nos campos, como um código de depósito falso, ainda passem, por isso os valores precisam ser validados contra o sistema de registro.

EX023. Do lado do modelo: ajuste fino de segurança, classificador de injeção, consultas estruturadas. Do lado do sistema: serviço de política, limitação de taxa, confirmação humana.

EX024.

Critério	A: redigir e confirmar	B: limitado e automático	C: API ampla
Limite de dano	baixo	limitado pelo teto de valor	muito alto
Taxa de falha	baixa (estimativa)	baixa (estimativa)	desconhecida
Valor para o usuário	médio	alto	alto
Custo de operação	alto em tempo da equipe	baixo	baixo
Esforço	baixo	médio	baixo
Reversibilidade	alta	alta	baixa

Recomendação: B.

EX025. Ele evita o problema do confused deputy, em que um agente com direitos amplos age por alguém que não os tem. Limita o raio de impacto aos dados desse usuário. Também faz a auditoria atribuir cada ação a uma pessoa.

EX026. Fixe o modelo, o prompt, o índice e os documentos. Compare a abordagem 1 (filtragem após a recuperação) com a abordagem 2 (um índice particionado por permissão). Use 300 consultas reservadas entre usuários, incluindo adaptativas, mais 1.000 consultas normais. Métricas: trechos não autorizados devolvidos, com intervalo, e qualidade das respostas. Repita com três sementes.

EX027. - Deriva de versão do modelo: fixe a versão. - Sobreposição do conjunto com os dados de ajuste: use conjuntos reservados. - Conhecimento de quem testa: use uma equipe adaptativa independente. - Carga conforme a hora do dia afetando tempos limite: execute os braços intercalados.

EX028. À medida que os pontos de envenenamento sobem de 0 para 80, o sucesso do ataque sobe de 0,075 para 0,980, enquanto a acurácia limpa fica entre 0,963 e 0,968. Monitorar a acurácia limpa não detectaria o backdoor, por isso são necessários testes de gatilho ou verificações de proveniência dos dados.

EX029. Não no caminho de bloqueio. Ele reduziu os ataques (de 22% para 9%), mas baixou a conclusão (de 91% para 86%). A separação de privilégios chega a 0,5% com 90% de conclusão, de modo que ali o classificador acrescenta custo sem benefício. Mantenha-o como sinal de monitoramento.

EX030. "Em 400 casos adaptativos reservados e 2.000 conversas normais (modelo v3, outubro de 2026), as chamadas de ferramenta nocivas foram de 22% na linha de base, 9% com o classificador e 0,5% com a separação de privilégios. A conclusão normal foi de 91%, 86% e 90%. A separação de privilégios reduz os ataques sem prejudicar o serviço; o classificador bloqueia texto legítimo de transportadoras. Estes resultados não cobrem outros idiomas."

EX031. - Sistema: DocRead. Responsável: TI de operações. Finalidade: extrair campos de conhecimentos de embarque. - Modelo: OCR do fornecedor mais um extrator ajustado. Dados: documentos digitalizados contendo nomes e endereços. Ferramentas: nenhuma, mas suas saídas alimentam o Copilot e o faturamento. - Usuários: equipe de operações. Afetados: embarcadores e destinatários. - Nível: médio, porque os erros se propagam para o faturamento e as rotas, mas nenhuma ação direta é executada.

EX032. O chatbot de suporte recebe entrada não confiável de usuários e documentos, tem ferramentas e guarda dados pessoais, por isso se mapeia para LLM01, LLM06 e LLM02. O preditor de rotatividade não tem ferramentas e tem exposição limitada.

EX033. Atualizações de versão do modelo, edições do prompt de sistema, mudanças nas fontes do índice de recuperação e inclusão ou alteração de ferramentas ou de suas permissões.

EX034. 1. Nossos dados são usados para treinamento, e podemos optar por não participar? 2. Qual é o período de retenção? 3. Que testes adversariais vocês realizam, e podemos ver um resumo? 4. Com que rapidez vocês nos notificarão de incidentes que afetem nossos dados? 5. Podemos fixar versões de modelo e receber avisos de mudança?

EX035. Usar: porcentagem de sistemas de nível alto com avaliação de menos de seis meses; tempo para reverter um prompt ou modelo; porcentagem de ferramentas de agentes com imposição externa de limites. Evitar: a contagem de prompts bloqueados, que mede atividade e não redução de risco.

EX036. Registrar prompts e chamadas de ferramenta com os campos pessoais mascarados. Mantê-los por 90 dias, com acesso restrito à equipe de incidentes e acesso auditado. Usar os logs apenas para segurança e qualidade. Guardar por mais tempo só em incidentes ativos.

EX037. model.bin e config.yaml não correspondem mais aos hashes fixados, logo mudaram depois da fixação. Bloqueie o carregamento, compare com a fonte confiável, verifique a proveniência e os logs de acesso e trate o caso como possível adulteração até que seja explicado.

EX038. Insira cadeias-canário únicas nos dados de ajuste ou amostre mensagens de treinamento conhecidas. Use seus prefixos como prompt e meça a continuação literal além de n tokens. Compare com mensagens reservadas. Defina um limiar, como zero canários expostos, antes do lançamento.

EX039. Preservar: - o e-mail da transportadora e seus cabeçalhos; - os resultados da recuperação; - os prompts completos e as saídas do modelo; - as chamadas de ferramenta e seus parâmetros; - as versões do modelo, do prompt e da política; - os registros de data e hora e as remessas afetadas.

EX040. "O Copilot remarcou 14 remessas porque seu projeto tratava o texto de e-mails de transportadoras como autoritativo para mudanças de depósito. Uma conta de transportadora comprometida enviou uma instrução de rota falsa. Correção: mudanças de depósito exigem uma entrada correspondente no sistema de rotas."

EX041. Afirmação: as remarcações nunca movem uma remessa para um depósito ausente do sistema de rotas. Argumento: o executor verifica cada remarcação contra o sistema de rotas, de forma independente do modelo. Evidências: testes de unidade, 300 casos adaptativos com 0 violações e a revisão de configuração. Condições: modelo v3, API de rotas v2. Ponto fraco: o comprometimento do próprio sistema de rotas.

EX042. Os cinco principais riscos de IA com tendência; incidentes e quase incidentes; cobertura de avaliação dos sistemas de nível alto; métricas-chave; decisões solicitadas; riscos residuais aceitos.

EX043. Objetivos: provocar um reembolso fora da política, exfiltrar o endereço de outro cliente ou remarcar uma remessa sem autorização. Regras: cópia isolada, dados sintéticos, nenhuma negação de serviço, parar diante de exposição real. Fora do escopo: a infraestrutura do fornecedor.

EX044. O z robusto de um cliente (cerca de 30) está muito acima do de todos os outros (todos abaixo de 2). Seu volume de consultas sugere raspagem ou extração. Investigue sua identidade, aplique um limite de taxa e revise seus padrões de consulta.

EX045. 2 em 12.000 é cerca de 0,017%, com limite superior de 95% de cerca de 0,06%. Com 60.000 reembolsos × €50, o pior custo plausível é de cerca de €1.800, dentro do apetite de €10.000. Aprovar, manter o monitoramento e registrar o comprometimento de e-mails de transportadoras como ponto fraco.

EX046. Afirmação: modelos vazam o pertencimento ao conjunto de treinamento por meio de suas saídas. Modelo de ameaça: acesso de caixa-preta por consulta, com modelos-sombra treinados em dados semelhantes. Evidências: ataques a vários modelos comerciais e acadêmicos. Limites: precisa de dados semelhantes, e o efeito é mais forte com sobreajuste. Relevância: o modelo de respostas ajustado da Corvane.

EX047. - Modelo de ameaça: não especificado e não adaptativo. - Linhas de base: nenhuma. - Efeitos: medidos pelo texto, não por chamadas de ferramenta. - Transferência: desconhecida; nenhum código foi publicado.

EX048. Quando o modelo implantado se baseia num modelo de pesos abertos ou é semelhante a ele; quando ataques encontrados em modelos substitutos se transferem (como mostram Zou et al.); ou quando os pesos do modelo vazam.

EX049. - Viés de amostragem: testes de injeção tirados de um único conjunto de dados público. - Data snooping: ajustar um filtro no conjunto de avaliação. - Linha de base inadequada: comparar com nenhuma defesa em vez de com uma lista de permissões simples.

EX050. Fontes: NIST, OWASP, ATLAS e duas conferências. Cadência: mensal. Papéis: um apresentador em rodízio e um responsável pelas notas. Produto: uma nota de relevância de uma página arquivada na wiki, com as ações registradas.

EX051. Decisão: as saídas do DocRead podem alimentar o faturamento sem revisão humana? Responsável: o diretor de operações. Escopo: uma cópia isolada do DocRead. Autorização: por escrito. Dados: digitalizações sintéticas. Critérios: taxa de erro de campos abaixo de 1%, sem nenhuma digitalização adversarial alterando valores. Cronograma: 12 semanas.

EX052. Danos a sistemas de teste compartilhados → cópia isolada. Exposição de dados → apenas dados sintéticos. Atraso no cronograma → entregáveis por fases. Expansão do escopo → registro de mudanças aprovado pelo responsável.

EX053. Interromper essa linha de testes. Preservar as evidências. Relatar imediatamente ao líder de segurança pelo processo de incidentes. Seguir as orientações de contenção. Retomar o projeto só quando liberado.

EX054. No laboratório, o modelo que na prática memoriza seus registros de treinamento (k = 1) dá a maior vantagem de ataque (0,20), e a vantagem cai para cerca de 0,06–0,07 à medida que um k maior o faz generalizar, de modo que a memorização determina quanto do pertencimento vaza; mensagens duplicadas favorecem justamente essa memorização. Na cópia da Corvane, a deduplicação reduziu a vantagem de 0,17 para 0,06. Isso sustenta a deduplicação como mitigação, mas o laboratório é um brinquedo, por isso verifique no ajuste real.

EX055. O relatório, o harness de avaliação, os conjuntos de testes, a tarefa de deduplicação e sua configuração, um runbook de novo teste e uma lista de riscos em aberto com responsáveis.

EX056. 1. Decidir com opções e incerteza. 2. Mapear para os dados, as ferramentas e as pessoas do sistema. 3. Impor limites fora do modelo. 4. Avaliar de forma adaptativa, com intervalos. 5. Manter a garantia datada e revisá-la.

EX057. Entrada não confiável: a fala de quem liga, mais descrições de produtos lidas em voz alta. Capacidades: fazer pedidos e pagamentos. Limites externos: tetos de pedido, confirmação por um segundo fator, uma lista de permissões de comerciantes. Evidências: testes de voz adaptativos e monitoramento de anomalias nos pedidos.

EX058. A precisão é de 0,490, e há 194 alertas a cada 10.000 eventos. Cerca de metade dos alertas é falsa, por isso a carga de revisão é significativa e os analistas podem passar a ignorá-los.

EX059. Garantir um sistema de ponta a ponta até o 2º trimestre. Automatizar uma avaliação na integração contínua. Ler 12 artigos e escrever notas. Dar uma palestra em conferência ou contribuir com um conjunto de testes. Assumir compromissos éticos: apenas testes autorizados e divulgação coordenada.

EX060. O trabalho somente de leitura é reversível e não causa dano direto. Produz evidências sobre injeção a partir das páginas do portal e constrói um histórico de operação. Gatilhos para ampliar: zero violações de política em 1.000 sessões, mais uma revisão independente.