Capítulo 4 — Risco e ética avançados
Mapa da aula
Aula 04 publicada. Mapa, exemplo, EX016.
flowchart TD
N0["4.1 Risco de quem?"]
N1["4.2 O Regulamento de IA na prática"]
N2["4.3 Ética de testes e divulgação"]
N3["4.4 Sistemas de gestão"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX016"]
Desenho lógico
flowchart LR
N0["4.1 Risco de quem?"]
N1["4.2 O Regulamento de IA na prática"]
N2["4.3 Ética de testes e divulgação"]
N3["4.4 Sistemas de gestão"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX016"]
[4.1 Risco de quem?]
|
v
[4.2 O Regulamento de IA na prática]
|
v
[4.3 Ética de testes e divulgação]
|
v
[4.4 Sistemas de gestão]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX016]
Objetivos de aprendizagem
Você vai (1) analisar o risco de segurança de IA para as pessoas afetadas, não só para a organização; (2) aplicar conceitos do Regulamento de IA da UE sobre níveis de risco, supervisão humana (Artigo 14) e exatidão, robustez e cibersegurança (Artigo 15); (3) lidar com conflitos éticos em testes e divulgação; (4) usar a ISO/IEC 42001 para incorporar o trabalho de risco à gestão; e (5) defender uma decisão de aceitação de risco.
4.1 Risco de quem?
Os registros de riscos organizacionais anotam perdas da organização. Falhas de IA muitas vezes recaem sobre outros: um cliente recusado por engano, um trabalhador cujos dados vazam, um motorista enviado a um endereço errado. O NIST AI 100-1 pede que as organizações considerem impactos sobre indivíduos, grupos, organizações e a sociedade. Um especialista sênior deve listar as partes afetadas por cada risco e perguntar se elas conseguem perceber o dano, contestá-lo e se recuperar dele. Na Corvane, os atrasos do FraudScore recaem sobre pequenos fornecedores, não sobre a Corvane. O registro de risco de Amira para o FraudScore os nomeia e lhes dá um meio de recorrer.
4.2 O Regulamento de IA na prática
O Regulamento (UE) 2024/1689 classifica os sistemas de IA por risco. Sistemas de alto risco têm obrigações que incluem gestão de riscos, governança de dados, registro de eventos, supervisão humana — o Artigo 14 exige que as pessoas que supervisionam o sistema consigam entender seus limites, interpretar suas saídas e intervir ou pará-lo — e o Artigo 15, que exige níveis adequados de exatidão, robustez e cibersegurança, citando ameaças como envenenamento de dados, envenenamento de modelos, exemplos adversariais e ataques à confidencialidade. Se um dado sistema é de alto risco depende de seu uso; estabeleça isso com a assessoria jurídica em vez de supor. Para a Corvane, saber se o Dispatch Copilot ou o FraudScore é de alto risco é uma questão para a assessoria jurídica.
4.3 Ética de testes e divulgação
Os testes precisam ser autorizados e ter escopo definido; devem usar dados sintéticos ou consentidos; testes em produção não podem prejudicar usuários. Quando você encontra uma fraqueza no modelo de um fornecedor, coordene a divulgação: informe o fornecedor, combine um prazo, evite publicar exploits funcionais que ponham outros em perigo. Quando a pressão interna empurra para esconder uma constatação, documente-a e escale: suprimir evidências de um risco para terceiros é uma falha ética mesmo que nenhuma regra a nomeie. Na Corvane, o relatório de Amira sobre o filtro de injeção do fornecedor foi compartilhado com o fornecedor antes de qualquer discussão mais ampla. Se um teste puder afetar clientes ou transportadoras reais, pare e use uma cópia isolada, como fazem todos os testes da Corvane.
4.4 Sistemas de gestão
A ISO/IEC 42001 pede que as organizações definam política de IA, papéis, avaliação e tratamento de riscos, avaliação de impacto e melhoria contínua. Seu valor para a segurança é que o trabalho de risco se torna recorrente e auditado, em vez de uma revisão pontual. Na Corvane, Amira usa o sistema de gestão para agendar avaliações recorrentes dos sistemas de nível alto e para registrar aceitações de risco, como a aceitação do diretor financeiro para o FraudScore. A auditoria verifica então se esses registros existem e estão atualizados, o que impede que o trabalho se apague depois da primeira revisão.
4.5 Exemplo resolvido (caso sintético da Corvane)
O FraudScore sinaliza faturas de fornecedores; fornecedores sinalizados esperam 30 dias pelo pagamento. Amira descobre que pequenos fornecedores com faturamento irregular são sinalizados quatro vezes mais que os grandes. Mesmo que as perdas por fraude caiam, o dano recai sobre pequenas empresas que não conseguem ver por que estão sendo atrasadas. Seu registro de risco as lista como parte afetada; o tratamento acrescenta um código de motivo, uma revisão humana em 5 dias e um canal de recurso. Ela registra o risco residual e pede ao diretor financeiro que o aceite por escrito.
4.6 Erros e limites
Três erros são comuns: registros que omitem as pessoas afetadas; supor a classificação no Regulamento de IA sem aconselhamento jurídico; e testar em usuários de produção sem consentimento. Cada erro deixa danos sem gestão. Um registro sem as pessoas afetadas deixaria de fora os pequenos fornecedores do FraudScore, que arcam com o atraso. Supor a classificação no Regulamento de IA pode criar obrigações que não se aplicam ou perder outras que se aplicam; consulte a assessoria jurídica. Testar em usuários de produção sem consentimento pode prejudicá-los e viola a autorização de que todo teste precisa. Verifique os três pontos no seu registro e nos seus planos de teste.
Exercícios
- EX016 — Partes afetadas. Liste as partes afetadas e os danos dos reembolsos do Dispatch Copilot. Rubrica: 3 = pelo menos quatro partes, com danos e meios de reparação; 2 = três; 1 = uma ou duas; 0 = nenhuma.
- EX017 — Artigo 14. Descreva recursos de supervisão para o FraudScore que atenderiam à intenção do Artigo 14. Rubrica: 3 = entender limites, interpretar, anular, parar; 2 = três; 1 = um ou dois; 0 = nenhum.
- EX018 — Divulgação. Você encontra um jailbreak no modelo de um fornecedor. Esboce um plano de divulgação. Rubrica: 3 = contato com o fornecedor, prazo, detalhes limitados, mitigação interna; 2 = três; 1 = um; 0 = publicar imediatamente.
- EX019 — Pressão. Um gerente pede que você remova uma constatação de um relatório. Responda. Rubrica: 3 = documenta, escala, explica o dano; 2 = parcial; 1 = obedece com uma observação; 0 = obedece em silêncio.
- EX020 — Aceitação. Escreva uma aceitação de risco para o risco residual do FraudScore. Rubrica: 3 = risco, partes afetadas, tratamento, responsável, data de revisão; 2 = quatro; 1 = dois; 0 = nenhum.
Síntese
O trabalho avançado de risco contabiliza os danos a todos os afetados, usa leis e normas como estrutura e não como enfeite, e trata testes e divulgação honestos como parte do trabalho.
Continue estudando — capítulo 04 de 12
← Capítulo 03 (rascunho) · Índice de capítulos do curso · Capítulo 05 (rascunho) →