Capítulo 8 — Segurança de IA e aprendizado de máquina: análise supervisionada de casos
Mapa da aula
Aula 08 publicada. Mapa, exemplo, EX036.
flowchart TD
N0["8.1 Análise de caso"]
N1["8.2 Linha do tempo"]
N2["8.3 Causas e fatores contribuintes"]
N3["8.4 Correções proporcionais"]
N4["8.5 Redigir o relato"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX036"]
Desenho lógico
flowchart LR
N0["8.1 Análise de caso"]
N1["8.2 Linha do tempo"]
N2["8.3 Causas e fatores contribuintes"]
N3["8.4 Correções proporcionais"]
N4["8.5 Redigir o relato"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX036"]
[8.1 Análise de caso]
|
v
[8.2 Linha do tempo]
|
v
[8.3 Causas e fatores contribuintes]
|
v
[8.4 Correções proporcionais]
|
v
[8.5 Redigir o relato]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX036]
Objetivos de aprendizagem
Você vai (1) analisar um incidente ou quase incidente de IA sob supervisão; (2) reconstruir uma linha do tempo a partir de evidências; (3) separar causas e fatores contribuintes; (4) recomendar correções proporcionais; e (5) escrever uma análise de caso.
8.1 Análise de caso
Uma análise de caso explica o que aconteceu, por quê e o que deve mudar. Ela não busca culpados: concentra-se em sistemas e decisões, não em indivíduos, para que as pessoas relatem os problemas abertamente. O caso da tempestade do FraudFlag, no exemplo resolvido abaixo, foi escrito dessa forma. Uma boa análise declara o impacto em números, uma linha do tempo com fontes, a causa direta e os fatores contribuintes e correções com responsáveis. O relato de Sofia sobre o FraudFlag nomeia a ligação que faltava entre as mudanças no formulário e o modelo, não a pessoa que acrescentou o campo de referência da tempestade. Mantenha o relato curto o bastante para que os gestores o leiam por inteiro, com os detalhes num apêndice.
8.2 Linha do tempo
A partir de registros e rastros: quando o conteúdo entrou, quando o modelo o leu, o que propôs, o que foi executado, quando foi notado, que contenção aconteceu. Horários precisos ajudam a separar a causa da coincidência. No caso da tempestade do FraudFlag, a linha do tempo começa com o novo campo do formulário na segunda-feira e termina com a correção e o alerta. Registre cada horário com sua fonte, como um registro de implantação ou um painel, para que os leitores possam conferi-lo. Anote com honestidade as lacunas da linha do tempo.
8.3 Causas e fatores contribuintes
A causa direta é o que produziu o dano (uma instrução injetada levou a uma chamada de ferramenta). Os fatores contribuintes tornaram o dano possível ou pior (nenhuma verificação de titularidade; envios não tratados como não confiáveis; nenhum alerta para picos de agendamentos urgentes). No caso da tempestade do FraudFlag, a causa direta foi o novo campo não tratado, e os fatores contribuintes foram a ligação que faltava entre as mudanças no formulário e o modelo e o alerta que faltava. Nomeie cada fator com sua evidência, não como um palpite. Pergunte por quê a cada passo.
8.4 Correções proporcionais
Corrija a causa e os fatores contribuintes mais importantes. Prefira controles que limitem o dano. Acrescente um teste de regressão e, quando for útil, um sinal de monitoramento. No caso do FraudFlag, as correções foram mapear o novo campo, incluir o modelo na lista de verificação de mudanças do formulário e alertar quando a taxa de sinalização dobrar. Cada uma tem responsável e data. Evite acrescentar correções que não tratem uma causa ou um fator nomeado na análise. Cada correção deve ser proporcional: correções baratas para riscos pequenos, mais fortes para falhas repetidas ou graves. Verifique depois de um mês se cada uma está em vigor.
8.5 Redigir o relato
Resumo; linha do tempo; impacto; causas; fatores contribuintes; ações com responsáveis e datas; lições. Os estudos de caso do MITRE ATLAS mostram um estilo útil para descrever técnicas. O relato de Sofia sobre o caso da tempestade seguiu esse roteiro, com o impacto quantificado em 4.100 sinistros atrasados em dois dias, em média. Peça a um colega que não esteve envolvido que o leia para conferir a clareza antes que seja compartilhado. Escreva-o em até uma semana, enquanto os detalhes estão frescos. Quantificar o impacto como Sofia fez, 4.100 sinistros atrasados em dois dias, dá aos leitores um número para conferir em vez de um adjetivo para discutir.
8.6 Exemplo resolvido (caso sintético da Meridian)
Durante uma tempestade, o FraudFlag sinaliza 30% dos sinistros em vez de 6%. Linha do tempo: um novo campo do formulário de sinistro ("referência da tempestade") foi acrescentado na segunda-feira; o FraudFlag o recebeu como uma categoria desconhecida; as pontuações dispararam. Nenhum ataque. Causa direta: uma nova entrada não tratada. Fatores contribuintes: nenhuma ligação, na gestão de mudanças, entre as mudanças no formulário e o modelo; nenhum alerta para picos na taxa de sinalização. Correções: mapear o novo campo; incluir o modelo na lista de verificação de mudanças do formulário; alertar quando a taxa de sinalização dobrar. Sob supervisão, Sofia escreve a análise; sua supervisora pede que ela quantifique o impacto (4.100 sinistros atrasados em dois dias, em média).
8.7 Erros e limites
Três erros são comuns: culpar indivíduos; corrigir apenas os sintomas; e linhas do tempo sem evidências. Cada erro prejudica a análise. Culpar indivíduos desencoraja as pessoas de relatar o próximo problema, e é por isso que as análises de caso não buscam culpados. Corrigir apenas o sintoma, como remapear o campo sem um alerta nem uma ligação com a lista de verificação, deixa a próxima mudança de formulário livre para causar a mesma falha. Uma linha do tempo sem evidências transforma palpites em constatações. Verifique os três em cada análise de caso. Corrija qualquer um deles antes de compartilhá-la. O relato de Sofia sobre a tempestade mostra como evitá-los.
Exercícios
- EX036 — Linha do tempo. Escreva a linha do tempo do FraudFlag em cinco entradas. Rubrica: 3 = cinco entradas datadas a partir de evidências; 2 = quatro; 1 = duas; 0 = nenhuma.
- EX037 — Causas. Separe a causa direta e os fatores contribuintes do problema dos retornos urgentes. Rubrica: 3 = causa e três fatores; 2 = causa e um; 1 = só a causa; 0 = nenhuma.
- EX038 — Correções. Ordene as correções do FraudFlag por importância. Rubrica: 3 = ordem justificada; 2 = ordem com justificativas parciais; 1 = só a ordem; 0 = nenhuma.
- EX039 — Sem culpados. Reescreva "o desenvolvedor quebrou o FraudFlag" sem buscar culpados. Rubrica: 3 = enquadramento em sistema e processo; 2 = parcial; 1 = ainda culpa; 0 = nenhuma.
- EX040 — Impacto. Por que a supervisora pediu números de impacto? Rubrica: 3 = prioridade, comunicação, proporcionalidade; 2 = dois; 1 = um; 0 = nenhum.
Síntese
A análise supervisionada de casos transforma incidentes em aprendizado: linhas do tempo baseadas em evidências, causas e fatores contribuintes e correções proporcionais.
Continue estudando — capítulo 08 de 12
← Capítulo 07 (rascunho) · Índice de capítulos do curso · Capítulo 09 (rascunho) →