Capítulo 41 — Inteligência de ameaças e OSINT: otimização do sistema
Mapa da aula
Aula 41 publicada. Mapa, exemplo, EX121.
flowchart TD
N0["41.1 Resultado primeiro"]
N1["41.2 Restrição limitante"]
N2["41.3 Otimizações candidatas"]
N3["41.4 Medindo o efeito"]
N4["41.5 O aviso de Goodhart"]
N5["Nota de prática — removendo trabalho"]
N6["Custo da complexidade"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX121"]
Desenho lógico
flowchart LR
N0["41.1 Resultado primeiro"]
N1["41.2 Restrição limitante"]
N2["41.3 Otimizações candidatas"]
N3["41.4 Medindo o efeito"]
N4["41.5 O aviso de Goodhart"]
N5["Nota de prática — removendo trabalho"]
N6["Custo da complexidade"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX121"]
[41.1 Resultado primeiro]
|
v
[41.2 Restrição limitante]
|
v
[41.3 Otimizações candidatas]
|
v
[41.4 Medindo o efeito]
|
v
[41.5 O aviso de Goodhart]
|
v
[Nota de prática — removendo trabalho]
|
v
[Custo da complexidade]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX121]
Objetivos de aprendizagem
Você vai (1) otimizar o Lantern para o resultado que importa — aplicação oportuna e precisa; (2) identificar a restrição que limita o todo, entre pessoas e máquinas; (3) avaliar otimizações com medições de antes e depois; (4) evitar otimizar indicadores substitutos que prejudicam os resultados.
41.1 Resultado primeiro
O resultado-alvo são menos ataques bem-sucedidos chegando à BEN, aproximado pelo tempo até a aplicação dos indicadores de alta confiança e pela fração de incidentes com contexto de inteligência na triagem. Otimizar "objetos ingeridos por dia" pode piorar os resultados ao inundar os analistas. Kofi declara o resultado antes de propor qualquer mudança e pergunta como a mudança o moveria. Um analisador mais rápido que deixa passar mais indicadores de baixa confiança pode aumentar o volume e ao mesmo tempo atrasar os analistas. As duas medidas substitutas têm fraquezas conhecidas, e ele as relata juntas para que fique visível a melhora de uma à custa da outra.
41.2 Restrição limitante
Muitas vezes o passo mais lento é humano: a aprovação do analista para compartilhar, a revisão do engenheiro de OT. Máquinas mais rápidas não ajudam se as aprovações esperam a noite inteira. Otimizar pode significar priorizar melhor as filas de aprovação, e não comprar hardware novo. Kofi rastreou uma amostra de indicadores da chegada à aplicação e cronometrou cada passo. As etapas de máquina levaram minutos no total; a espera por uma pessoa que aprovasse o compartilhamento levou horas. Essa única medição desviou o esforço de otimização dos servidores para a forma como a fila de aprovação estava organizada, que é o assunto do exemplo resolvido.
41.3 Otimizações candidatas
Pré-filtrar os indicadores de pouco valor antes do enriquecimento; priorizar as filas de aprovação por confiança e criticidade do ativo; agrupar os envios aos firewalls em uma cadência fixa; reduzir as fontes duplicadas cuja exclusividade medida ficou perto de zero. Kofi listou cada candidata com seu efeito esperado, seu custo e seu risco antes de iniciar qualquer uma. A pré-filtragem poupa capacidade de enriquecimento, mas arrisca descartar algo útil, então a regra do filtro foi acordada com os analistas. Agrupar os envios reduz a carga nos firewalls, mas acrescenta um pequeno atraso. Abandonar fontes duplicadas exigiu os números de exclusividade do trabalho de medição, que mostraram dois feeds acrescentando quase nada que os outros já não fornecessem.
41.4 Medindo o efeito
Cada mudança tem uma hipótese, uma métrica e uma janela de comparação. Se a métrica não se move, a mudança é revertida, para evitar complexidade sem benefício. Kofi escreve a hipótese antes da mudança, por exemplo: ordenar a fila de aprovação por confiança vai cortar a espera mediana pela metade em um mês. A janela de comparação cobre os mesmos dias da semana antes e depois, já que os volumes variam ao longo da semana. Uma mudança que ele testou, pôr em cache uma consulta raramente usada, não fez diferença mensurável e foi removida. Reverter é tratado como um desfecho normal, e não como fracasso.
41.5 O aviso de Goodhart
Quando uma medida vira meta, as pessoas a manipulam. Se os analistas forem avaliados por aprovações por hora, podem aprovar mal. Mantenha verificações de qualidade ao lado das métricas de velocidade. O exemplo resolvido se protege disso com uma verificação por amostragem das retratações depois que o processo de aprovação ficou mais rápido. Se as aprovações mais rápidas tivessem produzido mais erros, o ganho teria sido falso. Kofi associa cada métrica de velocidade a uma métrica de qualidade no mesmo painel, para que ninguém veja uma sem a outra. Os analistas não são ranqueados por nenhuma das duas; os números descrevem o processo, não as pessoas.
Nota de prática — removendo trabalho
A melhor otimização muitas vezes é a exclusão: abandonar um feed que não acrescenta nada exclusivo elimina de uma vez ingestão, armazenamento e ruído para os analistas.
Custo da complexidade
Toda otimização acrescenta código ou processo a manter. Kofi estima as horas anuais de manutenção de cada mudança e as compara com as horas que ela poupa aos analistas.
Exemplo resolvido
A aprovação de indicadores para compartilhamento pelos analistas tem espera mediana de 6 horas. Kofi ordena a fila por confiança e demanda dos parceiros e acrescenta um horário diário de 30 minutos para aprovações. A espera mediana cai para 1,5 hora; uma verificação por amostragem não mostra aumento nas retratações posteriores.
Caso sintético. Os números são inventados.
Erros e limites
Otimizações locais podem deslocar os gargalos para outro lugar; meça de novo o caminho inteiro. Alguns atrasos são controles de segurança deliberados e não devem ser eliminados pela otimização.
Exercícios
- EX121 — Armadilha do substituto. Por que maximizar os objetos ingeridos por dia pode prejudicar os resultados? Rubrica: 3 = mais ruído/sobrecarga dos analistas/precisão menor; 2 = parcial; 1 = sempre bom; 0 = nenhuma.
- EX122 — Verificação de qualidade. Que verificação de qualidade acompanhou a melhora na velocidade de aprovação? Rubrica: 3 = verificação por amostragem sem aumento nas retratações; 2 = alguma verificação; 1 = vago; 0 = nenhuma.
- EX123 — Atraso deliberado. Cite um atraso no Lantern que não deve ser eliminado pela otimização. Rubrica: 3 = aprovação de OT por duas pessoas (ou etapa de segurança semelhante) com motivo; 2 = só o nome; 1 = vago; 0 = nenhuma.
Síntese
Otimize os resultados, encontre a restrição real, meça cada mudança, proteja-se de Goodhart e mantenha os atrasos de segurança.
Continue estudando — capítulo 41 de 50
← Capítulo 40 (rascunho) · Índice de capítulos do curso · Capítulo 42 (rascunho) →