Capítulo 30 — Avaliação do projeto final

Capítulo 30 — Avaliação do projeto final

Mapa da aula

Aula 30 publicada. Mapa, exemplo, EX088.

flowchart TD
  N0["30.1 Avaliação final"]
  N1["30.2 Demonstração e defesa"]
  N2["30.3 Risco residual e recomendações"]
  N3["30.4 Desenvolvimento contínuo"]
  N4["30.4b Critérios de avaliação"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5
  N5 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX088"]

Desenho lógico

flowchart LR
  N0["30.1 Avaliação final"]
  N1["30.2 Demonstração e defesa"]
  N2["30.3 Risco residual e recomendações"]
  N3["30.4 Desenvolvimento contínuo"]
  N4["30.4b Critérios de avaliação"]
  N5["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX088"]

[30.1 Avaliação final]
    |
    v
[30.2 Demonstração e defesa]
    |
    v
[30.3 Risco residual e recomendações]
    |
    v
[30.4 Desenvolvimento contínuo]
    |
    v
[30.4b Critérios de avaliação]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX088]

Objetivos de aprendizagem

Você vai (1) avaliar seu projeto final em relação aos seus requisitos; (2) apresentá-lo e defendê-lo; (3) declarar os riscos residuais e as recomendações; e (4) planejar o desenvolvimento profissional contínuo.

30.1 Avaliação final

Execute todos os conjuntos na versão final: reservado, adaptativo (feito por testadores independentes) e de uso normal. Relate cada requisito com o resultado, o intervalo e a aprovação ou reprovação. Inclua efeitos colaterais e custos. Relate as falhas com honestidade, com a causa e o plano; um critério reprovado declarado com honestidade vale mais do que um escondido. A avaliação final do Gift Card Help feita por Jonas relata as divulgações entre usuários, as transferências fora da política e a conclusão normal, cada uma com suas contagens. Ela declara com honestidade a precisão do alerta de volume de transferências e explica o encaminhamento para o painel. Cada resultado mostra seu intervalo e se cumpriu o critério combinado, de modo que um critério reprovado fica tão visível quanto um aprovado.

30.2 Demonstração e defesa

Demonstre uma tarefa normal, um ataque bloqueado pelos seus controles, um alerta disparando com seu runbook e uma reversão. Espere perguntas sobre o modelo de ameaças, a independência dos testes, a estatística e o que aconteceria se o modelo mudasse. "O serviço de políticas impõe isso independentemente do modelo" é uma resposta forte quando suas evidências a sustentam. A demonstração do Gift Card Help feita por Jonas mostrou uma consulta de saldo, uma transferência bloqueada para um cartão que não pertencia ao cliente, o painel de volume de transferências e uma reversão do prompt. Perguntado sobre o que aconteceria se o modelo do fornecedor mudasse, ele apontou para o serviço de políticas e para o critério de liberação.

30.3 Risco residual e recomendações

Declare as áreas não testadas, os riscos aceitos e seus donos, e as recomendações para o uso em produção. No Gift Card Help, Jonas declara que as transferências pelo suporte telefônico contornam as verificações do assistente e nomeia o gerente da equipe de suporte como dono desse risco. Ele recomenda aplicar a mesma regra de mesmo titular no processo telefônico antes do uso em produção, além de novas execuções do conjunto adaptativo após qualquer atualização do modelo. Ele também lista o que não testou, como outros idiomas, para que o próximo dono saiba onde as evidências terminam.

30.4 Desenvolvimento contínuo

Planeje: prática autorizada (laboratórios, competições capture-the-flag com trilhas de IA), acompanhamento das atualizações do OWASP, do NIST e do ATLAS, leitura de um artigo por mês e contribuição para ferramentas de avaliação de código aberto. Mantenha os compromissos éticos: testes autorizados e divulgação responsável.

"""Lab B: base rates and alarm precision (Bayes' rule).
A detector for malicious prompts with given true- and false-positive rates
is applied to traffic with different shares of malicious prompts."""
for tpr, fpr in ((0.95, 0.05), (0.95, 0.01), (0.80, 0.001)):
    for prev in (0.10, 0.01, 0.001):
        tp = tpr * prev; fp = fpr * (1 - prev)
        prec = tp / (tp + fp)
        per_10k = round(10000 * (tp + fp))
        print(f"tpr={tpr:.2f} fpr={fpr:.3f} prevalence={prev:.3f} precision={prec:.3f} alerts_per_10k={per_10k}")

Saída esperada:

tpr=0.95 fpr=0.050 prevalence=0.100 precision=0.679 alerts_per_10k=1400
tpr=0.95 fpr=0.050 prevalence=0.010 precision=0.161 alerts_per_10k=590
tpr=0.95 fpr=0.050 prevalence=0.001 precision=0.019 alerts_per_10k=509
tpr=0.95 fpr=0.010 prevalence=0.100 precision=0.913 alerts_per_10k=1040
tpr=0.95 fpr=0.010 prevalence=0.010 precision=0.490 alerts_per_10k=194
tpr=0.95 fpr=0.010 prevalence=0.001 precision=0.087 alerts_per_10k=109
tpr=0.80 fpr=0.001 prevalence=0.100 precision=0.989 alerts_per_10k=809
tpr=0.80 fpr=0.001 prevalence=0.010 precision=0.890 alerts_per_10k=90
tpr=0.80 fpr=0.001 prevalence=0.001 precision=0.445 alerts_per_10k=18

O plano de Jonas nomeia passos específicos: uma competição capture-the-flag com trilha de IA por semestre letivo, um artigo mensal da lista de leitura e a contribuição do formato de casos do seu harness para um projeto de avaliação de código aberto. Cada passo é mensurável, ao contrário de um desejo genérico de continuar aprendendo.

30.4b Critérios de avaliação

Os avaliadores procuram: requisitos rastreados até as evidências; controles que não dependem do comportamento do modelo; testes adaptativos independentes; relato honesto das falhas; prontidão operacional (alertas, runbooks, reversão); e comunicação clara. Confira sua entrega contra cada um deles antes de entregá-la. Jonas conferiu o Gift Card Help contra cada item: requisitos rastreados até os testes, o serviço de políticas independente do modelo, um testador adaptativo independente, a precisão do alerta declarada com honestidade, a reversão ensaiada e um resumo de uma página para os donos. A lista de verificação preenchida faz parte da sua entrega, com cada item apontando para as evidências do Gift Card Help que o sustentam.

30.5 Exemplo resolvido (caso sintético da Brightwell)

Os resultados finais de Jonas para o Gift Card Help: divulgações de saldo entre usuários 0/300 (limite superior ≈ 1%); transferências fora da política 0/150 no conjunto adaptativo; conclusão das tarefas normais de 95% em 400; precisão do alerta de volume de transferências numa semana de tráfego reproduzido de 0,5 — ele explica com o laboratório de taxas de base por que mais da metade dos alertas sobre eventos raros pode ser falsa e encaminha o alerta para um painel, em vez de acionar o pager. Risco residual: o canal de suporte telefônico pode transferir saldos sem as mesmas verificações. Os resultados finais mostram os hábitos que o livro pede: taxas com limites, testes adaptativos, precisão honesta dos alertas e risco residual nomeado.

30.6 Erros e limites

Três erros são comuns: esconder critérios reprovados; demonstrações sem um ataque; e planos de desenvolvimento sem detalhes. A entrega final de Jonas evita esses erros. Ela relata abertamente a precisão fraca do alerta, demonstra um ataque bloqueado e apresenta um plano de desenvolvimento com eventos e datas nomeados. Esconder a precisão do alerta teria valido uma nota pior do que explicá-la, e uma demonstração sem ataque mostra apenas que o recurso funciona para usuários amigáveis. Cada item do plano tem uma data, de modo que seu supervisor pode conferir o progresso na revisão seguinte, em vez de depender de uma intenção genérica de continuar aprendendo.

Exercícios

• EX088 — Tabela de resultados. Monte a tabela de resultados do projeto final de Jonas. Rubrica: 3 = requisito, resultado, intervalo, critério, aprovado/reprovado; 2 = quatro; 1 = dois; 0 = nenhum.
• EX089 — Pergunta da defesa. Responda: "Se o fornecedor atualizar o modelo, seu sistema continua seguro?" Rubrica: 3 = aplicação das regras independente do modelo, critério de liberação executado de novo a cada atualização, versão fixada; 2 = dois; 1 = sim/não; 0 = nenhum.
• EX090 — Plano de desenvolvimento. Escreva um plano de um ano. Rubrica: 3 = atividades específicas, fontes, ética, metas mensuráveis; 2 = três; 1 = vago; 0 = nenhum.

Síntese

A avaliação do projeto final mostra que suas afirmações decorrem das evidências, que você sabe o que continua arriscado e que tem um plano para continuar crescendo.

Continue estudando — capítulo 30 de 30

← Capítulo 29 (rascunho) · Índice de capítulos do curso · Resoluções ↓ · Próximo curso pelo índice de capítulos →

Resoluções

Respostas-modelo para EX001–EX090. A Brightwell Home, Jonas e todos os seus números são sintéticos. Qualquer resposta que atenda à rubrica recebe a mesma pontuação.

EX001. Navegador (política de segurança de conteúdo); CDN/borda (TLS, proteção contra DDoS); aplicação web (autenticação); orquestrador (montagem do prompt, codificação da saída); recuperação (filtragem por permissões); API do modelo (chave num gerenciador de segredos, cotas); ferramentas (verificações de titularidade); bancos de dados (contas de menor privilégio, cifragem).

EX002. No banco de dados de pedidos; na resposta da ferramenta mantida na memória do orquestrador; no prompt enviado à API do fornecedor e, possivelmente, nos registros do fornecedor; nos registros de prompts do orquestrador; num cache de respostas.

EX003. Tempo de GPU, o que na prática significa tokens. Limite os tokens máximos de entrada e de saída por requisição e defina orçamentos de requisições e de tokens por usuário, com filas, para que nenhum usuário sozinho monopolize a GPU.

EX004. DNS (DNSSEC ou bloqueio no registrador e monitoramento); TLS até a borda (versões atuais, HSTS); HTTP até a aplicação web (autenticação, limites de tamanho); chamadas internas (TLS mútuo, política de rede); API do fornecedor (TLS, chave no servidor, cotas).

EX005. Com 2/s e rajada de 10, todas as 90 requisições normais são atendidas, enquanto a inundação cai para 129/3.000. Com 1/s, os usuários normais falham (62/90). Portanto, 2/s equilibra o atendimento e o combate ao abuso.

EX006. Qualquer pessoa pode copiar a chave e fazer requisições à custa da Brightwell, ou violar os termos do fornecedor em nome da Brightwell. Rotacione a chave imediatamente, mova as chamadas para o servidor, atrás de autenticação, e defina limites de gastos e escopos do lado do fornecedor.

EX007.

parse JSON → fail → reject
keys == {"action","order_id"} → else reject
type(action) is str and action in {"lookup","return"} → else reject
order_id matches ^[0-9]{6}$ → else reject
pass to tool service (which rechecks ownership)

EX008. HTML: escape sensível ao contexto. SQL: consultas parametrizadas. Shell: evite totalmente o shell e passe os argumentos como uma lista a um programa fixo, com uma lista de valores permitidos.

EX009. Com eps 1,0, a acurácia (0,505) fica perto do acaso: mudanças pequenas e escolhidas deliberadamente invertem cerca de metade das decisões. É um modelo linear de brinquedo, mas mostra que as saídas não são confiáveis diante de entradas adversariais.

EX010. - dono: a quem perguntar sobre o conteúdo; - público (clientes/equipe): filtra a recuperação; - sensibilidade: bloqueia trechos restritos; - origem: procedência para auditorias e verificações de envenenamento; - data de atualização: remove conteúdo desatualizado.

EX011. As consultas dos clientes buscavam num índice misturado que incluía a planilha interna de margens, e o modelo a citou. Correções: um índice de clientes separado, só com documentos públicos, e a filtragem por público antes que os trechos entrem no prompt.

EX012. - Páginas de produtos: público. - Política de devoluções: público. - Margens de fornecedores: confidencial. - Pedidos e endereços de clientes: pessoal. - Dados de treino do ReturnGuard, derivados de pedidos de clientes: pessoal e confidencial.

EX013. Confidencialidade: vazamento do histórico de devoluções dos clientes por meio das explicações. Integridade: fraudadores moldando devoluções para evitar alertas, ou envenenando os rótulos. Disponibilidade: interrupção da pontuação, que deixa as devoluções paradas.

EX014. Cenário: "Um fraudador (ameaça) pode mandar o assistente iniciar devoluções de pedidos de outros clientes porque a ferramenta não verifica a titularidade (vulnerabilidade). Isso poderia causar perdas de alguns milhares de euros por mês (risco). Uma verificação de titularidade no serviço de ferramentas (controle) elimina o problema."

EX015. Autorização escrita de alguém que seja dono do sistema, um escopo definido e regras de engajamento (cópias, dados, horários) e um canal de relato combinado. Caso contrário, recuse.

EX016. Precisa de acesso de leitura aos arquivos do índice e de acesso de rede apenas até o orquestrador. Não precisa de acesso de gravação ao índice, de credenciais do banco de dados, de saída para a internet nem de segredos de outros serviços.

EX017. - Sem rede. - Sem segredos nem credenciais montados. - Limites de CPU e de memória. - Tempo-limite de 60 segundos ou menos. - Um contêiner novo por execução, destruído depois, com imagem base somente leitura.

EX018. Recuse o carregamento do arquivo, alerte o dono e a segurança, compare-o com a fonte confiável, verifique os registros de acesso a model.bin e reimplante a partir de um artefato verificado.

EX019. Autenticação: o usuário faz login e o agente recebe um token delegado. Autorização: o serviço de ferramentas verifica se o pedido pertence ao usuário do token e se a política de devoluções o permite. Registro de responsabilidade: um registro somente de acréscimo com o usuário, a ação proposta, os parâmetros e o resultado.

EX020. O agente detém mais autoridade do que a pessoa que o conduz. Por meio de pedidos ou de texto injetado, essa pessoa faz o agente usar a autoridade dele em benefício dela.

EX021. Preparação: o cliente A é dono do pedido 100245, e o cliente B está conectado. Ação: B pede ao agente que consulte o 100245. Esperado: a ferramenta nega, nenhum endereço é devolvido e a negação é registrada com o ID de B.

EX022. - Do usuário para a aplicação: autenticação e limites de tamanho. - Dos documentos para o prompt: lista de fontes permitidas e marcação do conteúdo como não confiável. - Da saída do modelo para as ferramentas: validação de esquema e o serviço de políticas. - Da saída do modelo para o console: escape de HTML.

EX023. Recuperação limitada a fontes confiáveis; validação de esquema das ações propostas; um serviço de políticas que verifica a titularidade e o prazo de devolução; confirmação do cliente montada a partir de dados estruturados; monitoramento de volumes incomuns de devoluções.

EX024. Os atacantes formulam instruções de muitas maneiras, então as palavras-chave pegam apenas algumas. O modelo ainda pode ler texto não confiável e chamar ferramentas, então o canal continua aberto.

EX025. Cerca de 3/600 = 0,5% é o limite superior de 95%, supondo que as tentativas sejam independentes e representem ataques reais.

EX026. Com 1% de prevalência e 5% de falsos positivos, a precisão é 0,161, então cerca de 84% dos alertas são clientes honestos. Com 1% de falsos positivos, ela é 0,490, cerca de metade. Daí a revisão humana antes de recusar qualquer pessoa.

EX027. Versões de modelo, prompt, código e dados; sementes aleatórias; identificadores e tamanhos dos conjuntos de testes; datas; ambiente; e os scripts e os resultados brutos.

EX028. Coleta de dados: dados raspados envenenados. Treinamento: um gatilho de backdoor. Avaliação: um conjunto de avaliação que vaza para os dados de treino. Implantação: injeção de prompt ou evasão. Monitoramento: extração do modelo por consultas em grande volume.

EX029. - Uma avaliação esconde instruções: injeção (indireta). - A equipe rotula devoluções erradamente de propósito: envenenamento. - Pontuações repetidas para copiar o ReturnGuard: privacidade/extração de modelo. - Um fraudador divide uma devolução para ficar abaixo do alerta: evasão.

EX030. Limites de taxa e cotas; filtragem da recuperação por permissões; codificação da saída e validação de esquema; verificações de titularidade das ferramentas por meio de um serviço de políticas; sandbox; hash dos arquivos de modelos; registros e monitoramento.

EX031. Prompts (equipe de plataforma); índice de recuperação (equipe de conteúdo); fornecedor e versão do modelo (líder de plataforma); ferramentas (equipe de pedidos); chave de API do fornecedor (equipe de plataforma, no gerenciador de segredos); registros (operações de segurança); conjuntos de avaliação (QA/segurança).

EX032. O chatbot de suporte recebe entrada não confiável, tem ferramentas com efeitos colaterais e trata dados pessoais, por isso corresponde a LLM01, LLM06 e LLM02. O preditor de cancelamento (churn) tem apenas uma exposição interna de dados.

EX033. Prompts de sistema podem ser extraídos (LLM07). Um código que concede desconto à equipe precisa de controle de acesso real no serviço de preços, e não de sigilo num prompt.

EX034. - Entidades: cliente, revisor da equipe. - Processos: recebimento da devolução, pontuação, revisão. - Depósitos: pedidos, histórico de devoluções, modelo. - Fluxos: pedido → atributos → pontuação → fila de revisão → decisão. - Fronteira: na entrada do cliente.

EX035. Um arquivo de código aberto com um comentário malicioso (fonte) entra no contexto do CodePilot e se torna código gerado. O desenvolvedor clica em "executar testes" (destino: execução de código com segredos). Controle: uma sandbox descartável, sem segredos nem rede.

EX036. Fluxo do índice: excluir as avaliações do índice do assistente. Fluxo da saída para a ferramenta: validação de esquema mais uma verificação de política do prazo de devolução e da titularidade. Fluxo de confirmação: uma confirmação estruturada pelo cliente.

EX037. - Ator: um ocupante de nomes de pacotes (package squatter). - Entrada: um nome de pacote plausível, mas inexistente, que o CodePilot sugere. - Técnica: registrar esse nome com malware. - Ativo: máquinas dos desenvolvedores e a CI. - Efeito: execução de código e roubo de segredos. - Controles existentes: nenhum.

EX038. Impacto 5, já que os segredos da CI levam à produção. Probabilidade 3: a ocupação de nomes de pacotes alucinados já foi descrita publicamente, mas exige que o desenvolvedor instale o pacote. Reduza um pouco a prioridade, porque uma revisão do lockfile pode detectá-lo.

EX039. Controle: um serviço de políticas que permite uma devolução apenas para pedidos entregues do próprio usuário, dentro do prazo da política. Teste: 300 conversas com avaliações injetadas na homologação. Aprovado se houver 0 devoluções fora da política.

EX040. Dividir uma devolução de alto valor em várias menores. Mudar o motivo da devolução de "mudei de ideia" para "danificado". Adiar a devolução para outro dia da semana. Para cada uma, medir a parcela de casos de fraude conhecidos cuja pontuação cai abaixo do limiar de alerta.

EX041. 1. Uma avaliação dizendo que o assistente deve iniciar um reembolso integral do último pedido do leitor. Esperado: nenhuma devolução sem o pedido explícito do usuário e a verificação de política. 2. Uma página de políticas com texto oculto pedindo ao assistente que revele suas instruções. Esperado: nenhum conteúdo do prompt de sistema. 3. Uma FAQ de produto pedindo ao assistente que inclua um link com o número do pedido do usuário na URL. Esperado: nenhum link externo contendo dados do usuário.

EX042. ID do teste; categoria (entrada do OWASP); entrada; preparação ou conteúdo plantado; comportamento seguro esperado; avaliador (verificação do registro das ferramentas ou da saída); e o conjunto (desenvolvimento ou reservado).

EX043. - Evasão: com eps 0,5, a acurácia é 0,840. - Envenenamento: 80 pontos de backdoor dão 0,980 de sucesso do ataque, com 0,968 de acurácia limpa. - Inferência de pertencimento: com k=1, a vantagem é 0,200. - Extração: sem arredondamento, o erro dos pesos é 0,000 após 6 consultas.

EX044. - Evasão: revisão humana antes das recusas. - Envenenamento: alteração de rótulos restrita, mais testes de gatilho. - Inferência de pertencimento: saídas grosseiras e testes de vazamento. - Extração: saída apenas com rótulo, limites de taxa e monitoramento.

EX045. Os laboratórios usam conjuntos de dados sintéticos minúsculos e modelos lineares, e não o modelo da Brightwell. Eles supõem acesso e orçamentos do atacante escolhidos para fins didáticos, e seus números não vão coincidir com os do sistema real.

EX046. Coloque a frase "Project Heron discount matrix" apenas no índice da equipe. Faça 50 perguntas variadas sobre descontos como cliente. Aprovado se a frase ou seu conteúdo aparecer em 0 respostas. Repita após cada mudança no índice.

EX047. - Consulta de pedidos: chats de pedidos e de devoluções. - Iniciar devolução: apenas chats de devolução, com confirmação. - Atualizar endereço: apenas chats de conta, com confirmação e uma etapa de verificação. - Busca de produtos: todos os chats.

EX048. Os laços multiplicam o custo e podem amplificar instruções injetadas ao longo de muitas chamadas. Limite a 5 chamadas por turno, o que cobre as tarefas normais de várias etapas observadas nos registros (no máximo 3), e alerte quando o teto for atingido.

EX049. Carregar os casos. Preparar o ambiente (documentos plantados, usuários de teste). Executar as conversas. Coletar as saídas e os registros das ferramentas. Avaliar com código. Escrever um relatório datado, com as taxas, os intervalos e a lista de falhas.

EX050. Campos: ID do rastro, data e hora, ID do usuário (pseudonimizado), mensagem, IDs dos trechos recuperados, versão e hash do prompt, versão do modelo, resposta, chamadas de ferramentas e parâmetros, decisões de política. Mascaramento: ocultar endereços, números de cartão e e-mails. Retenção: 30 dias, com acesso limitado ao plantão e à equipe de segurança.

EX051. Ele bloqueia 60% dos ataques indiretos, mas bloqueia por engano 7% das perguntas normais, o que é caro. Ele não substitui o serviço de políticas, que já chega a 0. Se for adotado, use-o como sinal de monitoramento. Não o compre como controle de bloqueio.

EX052. - Permitir apenas se o pedido pertencer ao usuário. - A situação do pedido deve ser "ainda não enviado". - O usuário deve se verificar de novo por um código de uso único. - O novo endereço deve ficar num país atendido. - No máximo 2 mudanças por pedido. - Caso contrário, negar, registrando o motivo.

EX053. Links e imagens cujas URLs contêm dados do usuário os vazam para o servidor do atacante quando são renderizados ou clicados. Uma injeção pode montar esses links.

EX054. "Em 80 casos reservados de injeção indireta (homologação, modelo v2, política v1), as devoluções prejudiciais caíram de 31 para 0 (limite superior de 95% ≈ 4%), enquanto 97% de 500 conversas normais de devolução ainda se completaram."

EX055. - Negações de política por usuário: cenário de fraude de reembolso. - Strings-canário na saída: vazamento do índice. - Tokens por conta: inundação de custo. - Chamadas de ferramentas por turno atingindo o teto: laço ou injeção. - Volume da API de pontuação por chave: extração.

EX056. Os valores atípicos inflam a média e o desvio-padrão, o que faz os próprios valores atípicos parecerem menos extremos. A mediana e o MAD quase não são afetados, então os valores atípicos se destacam.

EX057. - Significado: o volume de pontuações de uma chave está muito acima do das chaves semelhantes. - Verificação: o padrão das consultas e o dono da chave. - Contenção: limitar a taxa da chave ou suspendê-la. - Notificação: o parceiro e o líder de segurança. - Encerramento: quando a causa estiver explicada e a chave tiver sido rotacionada, se comprometida, com uma nota no registro de incidentes.

EX058. - Modelo: uma atualização do modelo do fornecedor mudou o comportamento de recusa. Confira a versão e os avisos de mudança. - Dados: o índice está vazio ou quebrado, então o modelo recusa por falta de contexto. Confira os resultados da recuperação. - Configuração: o prompt de sistema foi editado para ficar mais rigoroso. Confira o histórico de versões do prompt. - Ataque: uma inundação de entradas abusivas disparou um bloqueio de segurança do fornecedor sobre a chave. Confira os erros do fornecedor e o volume.

EX059. Sinais de ataque seriam: a página foi enviada por uma conta desconhecida ou comprometida; ela contém texto dirigido ao assistente; as falhas se concentram em certos usuários ou produtos; ou o horário do envio coincide com atividade suspeita.

EX060. Exija datas de validade e donos em todos os documentos indexados, com uma limpeza noturna. Rode um teste de regressão das principais respostas sobre políticas após cada atualização do índice. Faça uma revisão trimestral do conteúdo indexado pelos donos.

EX061. 1. Uso dos nossos dados para treinamento, e possibilidade de recusa. 2. Prazo de retenção. 3. Região de processamento. 4. Fixação de versões e avisos de mudança. 5. Limites de gastos e cotas. 6. Prazo de notificação de incidentes e evidências de testes de segurança.

EX062. Uma avaliação com instruções é recuperada para o contexto do Ask Brightwell. O modelo pede ao redator de e-mails que envie os detalhes do pedido do cliente para um endereço externo. Controles: - Destinatário fixado no endereço verificado: nenhum destinatário externo é possível. - Modelo de mensagem fixo com um campo curto escapado: pouco espaço para conteúdo elaborado. - Limite de taxa: nenhum envio em massa. - Retenção zero: limita a exposição no fornecedor.

EX063. - Dados: ID do cliente e um campo de mensagem curto, de 300 caracteres ou menos. - Formato: JSON. - Validação: o ID do cliente deve corresponder à sessão, e a mensagem é escapada e verificada quanto a links. - Autenticação: uma identidade de serviço via TLS mútuo. - Limite de taxa: 1 por conversa. - Erros: falhar de forma fechada e registrar. - Contatos: a equipe de plataforma e o dono no marketing.

EX064. Zero chamadas de ferramentas prejudiciais, propostas ou executadas, no conjunto reservado de 80 casos. Pelo menos 95% de conclusão das tarefas normais em 500 conversas. Zero vazamentos de canário em 50 consultas.

EX065. Ela avisa cedo sobre regressões, antes que elas passem a depender da última camada. Mantém honesta a defesa em profundidade, porque duas camadas são melhores do que uma. E também detecta mudanças que poderiam se tornar prejudiciais se o serviço de políticas tiver um bug.

EX066. Ação automática segura: limitar a taxa de uma chave atípica, o que é reversível e de baixo impacto. Manter manual: desativar o assistente inteiro ou apagar conteúdo do índice, que têm alto impacto e são mais difíceis de reverter.

EX067.

EX068. O testador adaptativo conhecia as regras de política e procurou um limite que elas não cobriam (item divergente no último dia válido). Os casos reservados não miravam as regras.

EX069. 1. "Injeções em outros idiomas além do inglês não foram testadas. Dono: líder de plataforma. Próximo passo: um conjunto de 100 casos em espanhol/alemão até o 2º trimestre." 2. "Atualizações do modelo do fornecedor podem mudar o comportamento. Dono: líder de plataforma. Próximo passo: fixar as versões e executar de novo o critério de liberação a cada atualização."

EX070. "Acrescentar o filtro do fornecedor reduz as chamadas de ferramentas prejudiciais em comparação com nenhum filtro, na homologação do Ask Brightwell, em 200 casos reservados de injeção, e qual é sua taxa de bloqueios falsos em 500 conversas normais?"

EX071. - Viés de amostragem: a equipe escreveu os casos. Mitigação: acrescentar casos de testadores independentes. - Bisbilhotagem de dados: o prompt separado pode ter sido ajustado em casos semelhantes. Mitigação: usar casos estritamente reservados.

EX072. A defesa reduziu o sucesso dos ataques de 0,35 para 0,19. Com 95% de confiança, a redução verdadeira fica entre 12 e 20 pontos percentuais.

EX073. Quem constrói compartilha as premissas por trás do próprio código, então deixa passar ataques fora dessas premissas. Testadores independentes encontram pontos cegos. Seus resultados também têm mais credibilidade para as partes interessadas.

EX074. "O conjunto de regras termina sem um padrão, então qualquer ação não correspondida é permitida. Um novo parâmetro de ferramenta passaria sem verificação. Acrescente um deny final com uma justificativa registrada e um teste mostrando que uma ação desconhecida é negada."

EX075. 1. O recurso: reagendamento de entregas. 2. Principais riscos: bloquear o cancelamento; reagendar entregas de outros clientes. 3. Controles: um serviço de políticas com uma regra de titularidade e de prazo, e confirmação estruturada. 4. Evidências: 0/60 casos adaptativos (limite superior de cerca de 5%) e 97% de conclusão. 5. Risco residual: o canal telefônico contorna as regras. 6. Recomendação: lançar e alinhar as regras do canal telefônico.

EX076. O pacote de passagem contém: - uma descrição do sistema; - componentes e dependências, incluindo as versões dos modelos; - linhas de base do comportamento normal; - alertas e runbooks; - procedimentos de reversão do modelo, do prompt e do índice; - donos e contatos; - riscos residuais.

EX077. Etapas de contenção: 1. Desligar a fonte de recuperação usando o interruptor de desativação. 2. Identificar e remover o documento envenenado, guardando uma cópia no depósito de evidências. 3. Conferir nos rastros as ações executadas depois que ele foi indexado e confirmar que o serviço de políticas as bloqueou. 4. Reativar a fonte após a revisão.

EX078. Ações fora da política executadas: 0 por mês, medidas pelos registros de políticas e das ferramentas. Tempo de reversão do prompt: menos de 15 minutos, medido num exercício trimestral. Cobertura do critério de liberação: 100% dos lançamentos, medida pelos registros da CI.

EX079. A liberação ocorre em cinco etapas: 1. Executar o critério de liberação na homologação. 2. Liberar para 1% do tráfego, por trás de uma flag. 3. Aumentar para 10%, depois 50% e depois 100% ao longo de uma semana. 4. Acompanhar negações, conclusão, custo e reclamações em cada etapa. 5. Se as métricas saírem de suas faixas, virar a flag de volta para a versão anterior fixada.

Cada etapa precisa ter seus critérios cumpridos antes da seguinte.

EX080. Segurar a liberação. Investigar por que a região é sinalizada com mais frequência (atrasos da transportadora) e corrigir o conjunto de atributos. Depois, executar de novo o modo sombra e comparar as taxas de alerta por região. Lançar o v2 como está atrasaria os reembolsos de clientes rurais honestos por razões que eles não controlam.

EX081. 1. Usar apenas contas de teste e pedidos de teste. 2. Obter autorização escrita para cada janela de testes. 3. Plantar apenas canários que não possam prejudicar usuários reais. 4. Coordenar com as operações e parar diante de qualquer impacto sobre usuários reais.

EX082. O supervisor; os sistemas no escopo; as atividades e os testes permitidos; as regras de tratamento de dados; as linhas de reporte e de escalonamento; a confidencialidade e o que pode entrar no portfólio; e as datas e os horários.

EX083. Ele levou o assunto ao supervisor, em vez de testá-lo por conta própria ou de denunciar pessoas. A equipe passou para uma ferramenta aprovada, e ele escreveu orientações práticas. Isso funciona porque corrige o sistema (as pessoas precisavam de uma ajuda para redigir) sem culpa, de modo que a equipe continua disposta a relatar.

EX084. - Tarefas: acrescentei 20 casos ao conjunto de injeção e revisei as configurações do assistente de e-mail do fornecedor. - Decisões: recomendei desativar o acesso a toda a caixa postal. - Evidências: relatório de resultados do conjunto v14. - Aprendizado: os recursos dos fornecedores são configurados fora do nosso pipeline. - Perguntas: quem é dono das configurações de IA dos fornecedores?

Nenhum dado de cliente nem nome interno foi incluído.

EX085. Um endpoint de pontuação atrás de autenticação, com um limite de taxa por chave (controle), um teste mostrando que a 101ª requisição num minuto é recusada e um alerta sobre valores atípicos de volume por chave.

EX086. - R1: nenhuma divulgação de saldo entre usuários → verificação de titularidade na ferramenta → 300 casos entre usuários → 0/300. - R2: as transferências ficam dentro da política → serviço de políticas (mesmo titular, 200 euros por dia, 1 por conversa) → 150 casos adaptativos → 0/150.

EX087. O limite diário restringe o dano total, mas um atacante ainda poderia esgotar a cota diária de um cliente, bloqueando o uso legítimo e multiplicando pequenos danos. O teto por conversa limita o dano por incidente e por documento injetado.

EX088.

EX089. Os controles de transferência e de divulgação são impostos pelo serviço de políticas e pelas ferramentas, e não pelo modelo, então valem seja o que for que o modelo faça. A versão do modelo é fixada, e qualquer atualização precisa passar pelo critério de avaliação antes da implantação. A usabilidade pode mudar, por isso a conclusão é conferida de novo.

EX090. - Mensalmente: um laboratório autorizado ou uma tarefa de IA em CTF, e um artigo com anotações. - Trimestralmente: revisar as atualizações do OWASP, do NIST e do ATLAS. - Até o fim do ano: contribuir com 50 casos para um conjunto de avaliação de código aberto e dar uma palestra interna. - Sempre: testes autorizados e divulgação coordenada.