Capítulo 32 — Segurança de IA e aprendizado de máquina: interfaces interdisciplinares
Mapa da aula
Aula 32 publicada. Mapa, exemplo, EX094.
flowchart TD
N0["32.1 Direito e regulação"]
N1["32.2 Sistemas de gestão e frameworks"]
N2["32.3 Compras"]
N3["32.4 Especialistas clínicos e do domínio"]
N4["32.5 Comunicação de riscos"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX094"]
Desenho lógico
flowchart LR
N0["32.1 Direito e regulação"]
N1["32.2 Sistemas de gestão e frameworks"]
N2["32.3 Compras"]
N3["32.4 Especialistas clínicos e do domínio"]
N4["32.5 Comunicação de riscos"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX094"]
[32.1 Direito e regulação]
|
v
[32.2 Sistemas de gestão e frameworks]
|
v
[32.3 Compras]
|
v
[32.4 Especialistas clínicos e do domínio]
|
v
[32.5 Comunicação de riscos]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX094]
Objetivos de aprendizagem
Você vai (1) trabalhar com colegas das áreas jurídica, clínica, de privacidade, de compras e de gestão na segurança de IA; (2) interpretar, em nível de orientação, requisitos regulatórios e normativos; (3) traduzir riscos técnicos em decisões organizacionais; e (4) reconhecer quando é necessária orientação especializada.
32.1 Direito e regulação
O AI Act da UE (Regulamento (UE) 2024/1689) estabelece obrigações por categoria de risco, com datas de aplicação escalonadas entre 2025 e 2027; sistemas de alto risco precisam de gestão de riscos, governança de dados, documentação, registro em log, supervisão humana (Artigo 14) e acurácia, robustez e cibersegurança (Artigo 15). A legislação de proteção de dados (como o RGPD; no Brasil, a LGPD) rege os dados pessoais no treinamento, nos prompts e nos logs. Regras do setor de saúde podem acrescentar requisitos. Engenheiros de segurança fornecem evidências; advogados decidem a classificação jurídica. O papel de Rina na avaliação da LCH foi descrever o que cada sistema faz e quais controles existem; o advogado decidiu a classificação.
32.2 Sistemas de gestão e frameworks
A ISO/IEC 42001:2023 especifica um sistema de gestão de IA: política, papéis, avaliação de riscos, controles, monitoramento e melhoria. O NIST AI RMF oferece as funções Govern, Map, Measure e Manage. Esses frameworks ligam o trabalho de segurança à responsabilização organizacional. Na LCH, a função Map do AI RMF corresponde aos modelos de sistema e ao registro de ameaças de Rina, e a Measure, a seus relatórios de verificação. Usar essa estrutura ajudou o conselho a ver que o trabalho de segurança de IA fazia parte do processo normal de riscos da clínica. Uma certificação ISO/IEC 42001 foi discutida, mas adiada até que os processos tivessem rodado por um ano.
32.3 Compras
Ao comprar produtos de IA, peça aos fornecedores: proveniência do modelo e dos dados, evidências de testes de segurança, compromissos de notificação de incidentes, termos de uso dos dados (os dados do cliente são usados para treinamento?), suporte a logs e auditoria e a possibilidade de testar sob termos acordados. A pergunta sobre treinamento com dados do cliente importa especialmente na saúde, onde as conversas contêm diagnósticos. A possibilidade de testar sob termos acordados importa porque, sem ela, a LCH não consegue verificar as alegações do fornecedor, como mostrou a pesquisa sobre defesas quebradas. Rina mantém essas perguntas numa lista de verificação padrão de compras, para que sejam feitas em toda aquisição de IA.
32.4 Especialistas clínicos e do domínio
Os especialistas do domínio definem o dano: qual resposta errada é perigosa, qual atraso importa. As prioridades de segurança dependem do julgamento deles. Quando Rina avaliou as ameaças do Ask Lumen, um clínico mudou sua visão do impacto: um falso fechamento de clínica lhe parecia menor, mas, para pacientes com tratamentos sensíveis ao tempo, como revisões de curativos, uma consulta perdida poderia causar dano. A nota de impacto subiu, e a verificação de embasamento subiu na lista de prioridades. Rina agora pede a um clínico que revise as notas de impacto de cada nova ameaça.
32.5 Comunicação de riscos
Traduza os achados em termos de negócio: impacto sobre os pacientes, exposição jurídica, custo, reputação e opções com seus compromissos. Leve uma recomendação, não apenas um problema. Na compra da ferramenta de triagem, o resumo de Rina para o conselho tinha três opções: assinar como oferecido, assinar com condições ou escolher outro fornecedor. Ela recomendou assinar com condições e declarou em termos simples o risco residual, as evidências de teste limitadas do fornecedor. O conselho aceitou a recomendação porque os compromissos estavam expostos com clareza numa única página, em linguagem simples.
32.6 Exemplo resolvido (caso sintético da LCH)
A LCH planejava comprar uma ferramenta de triagem com IA. Rina integrou a comissão de compras com o encarregado de proteção de dados, um clínico e um advogado. Suas perguntas revelaram que o fornecedor usava, por padrão, as conversas dos clientes para melhorar seus modelos e não conseguia fornecer resultados de testes de segurança. A comissão exigiu, antes da assinatura, uma opção de recusa, uma cláusula de testes de segurança e notificação de incidentes em até 72 horas; o advogado avaliou separadamente a classificação no AI Act. Sem um engenheiro de segurança na comissão, a cláusula de treinamento por padrão poderia ter passado despercebida.
32.7 Erros e limites
Três erros são comuns: dar conclusões jurídicas como engenheiro; compras sem perguntas de segurança; e relatórios de risco sem opções. Um engenheiro que afirma que um sistema é ou não de alto risco segundo o AI Act ultrapassa seu papel e pode induzir a organização a erro. Comprar ferramentas de IA sem perguntas de segurança deixa riscos como a reutilização de dados por padrão sem ser descobertos até depois da assinatura. Relatórios que listam problemas sem opções deixam os gerentes sem conseguir agir, e eles muitas vezes adiam as decisões. Os relatórios de Rina sempre terminam com opções, seus custos e uma recomendação, para que um gerente possa aprovar, rejeitar ou pedir mudanças numa única reunião.
Exercícios
- EX094 — Perguntas ao fornecedor. Liste cinco perguntas de segurança para um fornecedor de IA. Rubrica: 3 = cinco pertinentes; 2 = quatro; 1 = duas; 0 = nenhuma.
- EX095 — AI Act. Nomeie os artigos sobre supervisão humana e sobre acurácia, robustez e cibersegurança. Rubrica: 3 = Artigos 14 e 15; 2 = um; 1 = vago; 0 = errado.
- EX096 — Tradução. Traduza "2% de divulgação entre pacientes nos testes de red team" numa declaração de risco para gerentes, com opções. Rubrica: 3 = impacto, probabilidade, opções, recomendação; 2 = três; 1 = vago; 0 = nenhuma.
Síntese
A segurança de IA funciona por meio de outras disciplinas: direito, privacidade, compras, especialistas do domínio e gestão. Os engenheiros contribuem com evidências e opções; os outros, com julgamento e autoridade.
Continue estudando — capítulo 32 de 40
← Capítulo 31 (rascunho) · Índice de capítulos do curso · Capítulo 33 (rascunho) →