Capítulo 7 — Segurança de IA e aprendizado de máquina: integração organizacional
Mapa da aula
Aula 07 publicada. Mapa, exemplo, EX031.
flowchart TD
N0["7.1 Inventário e níveis"]
N1["7.2 Reutilize os processos existentes"]
N2["7.3 Papéis"]
N3["7.4 Métricas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4
N4 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX031"]
Desenho lógico
flowchart LR
N0["7.1 Inventário e níveis"]
N1["7.2 Reutilize os processos existentes"]
N2["7.3 Papéis"]
N3["7.4 Métricas"]
N4["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> Q["EX031"]
[7.1 Inventário e níveis]
|
v
[7.2 Reutilize os processos existentes]
|
v
[7.3 Papéis]
|
v
[7.4 Métricas]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX031]
Objetivos de aprendizagem
Você vai (1) construir um inventário de sistemas de IA com níveis de risco; (2) integrar controles de IA aos processos de segurança existentes (mudança, acesso, fornecedores, incidentes); (3) definir papéis e responsabilização; (4) estabelecer métricas para toda a organização; e (5) planejar o roteiro de um programa.
7.1 Inventário e níveis
Não se protege o que não se conhece. Um inventário lista cada sistema de IA, responsável, finalidade, origem do modelo, dados, ferramentas, usuários, partes afetadas e nível de risco. Classifique o nível pela consequência: qual é o pior dano plausível e quantas pessoas ele alcança? Agentes com ferramentas de escrita e sistemas que afetam direitos ficam no topo. A IA paralela (shadow AI) — funcionários colando dados em chatbots públicos — entra no inventário como um uso, mesmo que nenhum sistema tenha sido construído.
"""Lab V: an AI system inventory scored for review priority (synthetic).
Each system lists exposure, autonomy, data sensitivity and whether it reads
untrusted content; mapping to OWASP LLM Top 10 (2025) IDs is illustrative."""
import json
inv = json.loads("""[
{"name":"support-chatbot","exposure":"public","autonomy":"tools","data":"customer","untrusted_input":true},
{"name":"invoice-ocr-model","exposure":"internal","autonomy":"none","data":"financial","untrusted_input":true},
{"name":"code-assistant","exposure":"internal","autonomy":"suggest","data":"source","untrusted_input":true},
{"name":"churn-predictor","exposure":"internal","autonomy":"none","data":"customer","untrusted_input":false},
{"name":"hr-cv-screener","exposure":"internal","autonomy":"decide","data":"personal","untrusted_input":true}
]""")
E = {"public": 3, "internal": 1}; A = {"none": 0, "suggest": 1, "tools": 3, "decide": 3}
D = {"customer": 2, "financial": 2, "source": 2, "personal": 3}
for s in inv:
s["score"] = E[s["exposure"]] + A[s["autonomy"]] + D[s["data"]] + (2 if s["untrusted_input"] else 0)
risks = []
if s["untrusted_input"]: risks.append("LLM01")
if s["autonomy"] in ("tools", "decide"): risks.append("LLM06")
if s["data"] in ("customer", "personal"): risks.append("LLM02")
s["owasp"] = ",".join(risks) or "-"
for s in sorted(inv, key=lambda s: -s["score"]):
print(f"{s['name']:18s} score={s['score']:2d} owasp={s['owasp']}")
Saída esperada:
support-chatbot score=10 owasp=LLM01,LLM06,LLM02
hr-cv-screener score= 9 owasp=LLM01,LLM06,LLM02
code-assistant score= 6 owasp=LLM01
invoice-ocr-model score= 5 owasp=LLM01
churn-predictor score= 3 owasp=LLM02
O inventário de Amira, no exemplo resolvido abaixo, encontrou 23 usos de IA.
7.2 Reutilize os processos existentes
A gestão de mudanças cobre alterações de modelo, de prompt e do índice de recuperação, além do código. A gestão de acessos cobre as identidades que os agentes usam. A gestão de fornecedores pergunta aos provedores de modelos e APIs sobre uso de dados, retenção, testes de segurança e notificação de incidentes. A resposta a incidentes acrescenta playbooks para injeção de prompt, vazamento de dados por meio de um modelo e dados envenenados, incluindo a reversão de modelos e prompts. A integração é melhor do que um "processo de IA" separado que as equipes podem ignorar. Na Corvane, Amira acrescentou "mudança de prompt ou de modelo" à lista de verificação do comitê de mudanças e perguntas sobre IA ao questionário de fornecedores, em vez de criar um processo separado.
7.3 Papéis
Atribua: um responsável pelo sistema, que presta contas por cada sistema de IA; uma função de segurança de IA, que define padrões e testa; donos de dados, que aprovam o uso dos dados; e um comitê de risco, que aceita o risco residual dos níveis altos. A ISO/IEC 42001 espera que esses papéis sejam definidos e tenham recursos. Na Corvane, a equipe de Amira é a função de segurança de IA, o diretor financeiro aceitou o risco residual do FraudScore e cada sistema construído tem um responsável nomeado. Escreva os papéis no inventário, para que cada entrada mostre quem presta contas, e revise-os quando as pessoas mudam de posição.
7.4 Métricas
Métricas organizacionais úteis: porcentagem de sistemas de IA inventariados e classificados por nível; sistemas de nível alto com avaliação adversarial atual; tempo para reverter um modelo ou prompt; incidentes e quase incidentes relacionados a IA; porcentagem de ferramentas de agentes com imposição externa de limites. Evite métricas de vaidade como "número de prompts filtrados". Na Corvane, o roteiro do primeiro ano mede a parcela de sistemas de nível alto avaliados em seis meses. Relate cada métrica com sua tendência e diga quais estão abaixo da meta e por quê, para que o conselho veja onde é preciso esforço.
7.5 Exemplo resolvido (caso sintético da Corvane)
O inventário de Amira encontra 23 usos de IA: 3 sistemas construídos, 11 funcionalidades de fornecedores ativadas em produtos SaaS e 9 usos paralelos. Duas funcionalidades de fornecedores — um assistente de e-mail com acesso à caixa postal e um resumidor do CRM — nunca haviam sido revisadas. Ela as classifica por nível, acrescenta perguntas sobre IA ao questionário de fornecedores, acrescenta "mudança de prompt ou de modelo" à lista de verificação do comitê de mudanças e escreve um playbook de injeção. Seu roteiro do primeiro ano tem como meta todos os sistemas de nível alto avaliados em seis meses. As duas funcionalidades não revisadas teriam escapado a um inventário apenas dos sistemas construídos.
7.6 Erros e limites
Três erros são comuns: inventários que deixam de fora funcionalidades de fornecedores e uso paralelo; processos de IA paralelos que ninguém segue; e métricas que contam atividade em vez de redução de risco. Cada erro deixa riscos sem visibilidade ou sem gestão. Um inventário apenas dos sistemas construídos teria deixado de fora as 11 funcionalidades de fornecedores e os 9 usos paralelos da Corvane. Um processo de IA paralelo é fácil de ignorar; acrescentar perguntas às listas de verificação existentes chega às equipes. Contar atividade, como prompts filtrados, nada diz sobre se o risco caiu; acompanhe, em vez disso, a parcela de sistemas de nível alto com avaliação adversarial atual. Verifique os três pontos no seu programa.
Exercícios
- EX031 — Entrada de inventário. Escreva uma entrada completa de inventário para o DocRead. Rubrica: 3 = todos os campos e nível justificado; 2 = a maioria; 1 = poucos; 0 = nenhum.
- EX032 — Laboratório. Explique por que, no laboratório, o chatbot de suporte fica acima do preditor de rotatividade. Rubrica: 3 = ferramentas, entrada não confiável, dados, mapeamento OWASP; 2 = dois; 1 = um; 0 = errado.
- EX033 — Mudança. Liste quatro tipos de mudança em sistemas de IA que devem passar pela gestão de mudanças. Rubrica: 3 = quatro; 2 = três; 1 = um ou dois; 0 = nenhum.
- EX034 — Perguntas a fornecedores. Escreva cinco perguntas específicas de IA para fornecedores. Rubrica: 3 = cinco pertinentes; 2 = quatro; 1 = duas; 0 = nenhuma.
- EX035 — Métricas. Proponha três métricas de programa e uma a evitar. Rubrica: 3 = três ligadas ao risco mais uma a evitar, justificada; 2 = parcial; 1 = vago; 0 = nenhuma.
Síntese
Integração organizacional significa conhecer todo uso de IA, incorporar a IA a processos que as pessoas já seguem, atribuir responsabilização e medir a redução de risco.
Continue estudando — capítulo 07 de 12
← Capítulo 06 (rascunho) · Índice de capítulos do curso · Capítulo 08 (rascunho) →