Capítulo 15 — Evidência e medição | Graduação Inteligência de ameaças e OSINT

Mapa da aula

Aula 15 publicada. Mapa, exemplo, EX043.

flowchart TD
  N0["15.1 Três camadas"]
  N1["15.2 Proveniência"]
  N2["15.3 Medir a inteligência"]
  N3["15.4 Feedback"]
  N4["15.5 Tempestividade"]
  N5["15.6 Precisão e revocação dos bloqueios"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6
  N6 --> EX["Exemplo resolvido"]
  EX --> Q["Exercício EX043"]

Desenho lógico

flowchart LR
  N0["15.1 Três camadas"]
  N1["15.2 Proveniência"]
  N2["15.3 Medir a inteligência"]
  N3["15.4 Feedback"]
  N4["15.5 Tempestividade"]
  N5["15.6 Precisão e revocação dos bloqueios"]
  N6["Síntese"]
  N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX043"]

[15.1 Três camadas]
    |
    v
[15.2 Proveniência]
    |
    v
[15.3 Medir a inteligência]
    |
    v
[15.4 Feedback]
    |
    v
[15.5 Tempestividade]
    |
    v
[15.6 Precisão e revocação dos bloqueios]
    |
    v
[Síntese]
    |
    v
[Exemplo resolvido] --> [Exercício EX043]

Objetivos de aprendizagem

Você vai (1) distinguir observação, inferência e avaliação; (2) registrar a proveniência de cada evidência; (3) medir a utilidade da inteligência; (4) separar métricas de atividade de métricas de resultado.

15.1 Três camadas

Uma observação: "o proxy registrou uma conexão a portal-login.example às 09:41". Uma inferência: "o usuário provavelmente clicou no link de phishing". Uma avaliação: "o HCHT provavelmente foi visado pela campanha do setor". Cada camada precisa de sustentação própria, e os relatórios devem rotular qual é qual. Amara marca cada frase de seus rascunhos como observação, inferência ou avaliação. Os leitores podem então ver quais afirmações são fatos tirados dos logs e quais são julgamentos, e podem contestar os julgamentos sem duvidar dos fatos. Quando chega evidência nova, uma inferência pode mudar enquanto a observação continua a mesma.

15.2 Proveniência

Para cada item, registre quem o relatou, quando, por qual canal, sob qual TLP e em que ele se baseia. Sem proveniência, um indicador copiado entre feeds parece ter muitas fontes quando tem uma — a notificação circular. O banco de dados de Amara guarda a proveniência de cada indicador, e seus relatórios citam a fonte original, e não o feed que a repetiu. Quando dois membros do HSSC relatam o mesmo domínio, ela confere se ambos o viram de forma independente ou se um copiou o relatório do outro. Só observações independentes aumentam a confiança. A notificação circular já inflou duas vezes a confiança nos resumos do HSSC, e é por isso que a comunidade agora pede aos membros que declarem sua fonte original.

15.3 Medir a inteligência

Contar os indicadores ingeridos mede atividade. As medidas de resultado perguntam: a inteligência levou a um bloqueio que impediu algo, a uma caçada que encontrou algo ou a uma decisão que mudou? Menos indicadores, e melhores, podem produzir mais valor. Amara acrescenta ao banco de indicadores uma coluna de resultado: bloqueado, caçado com resultado, caçado sem resultado ou nenhuma ação. Depois de um trimestre, ela consegue mostrar quais fontes levaram a ações e quais só acrescentaram volume. Os números ajudam a equipe a decidir quais feeds valem o tempo de processamento e quais poderiam ser abandonados.

15.4 Feedback

Os consumidores devem dizer aos produtores o que ajudou. O formulário mensal de feedback do HSSC pergunta aos membros quais itens levaram a ações. Amara o preenche com honestidade, incluindo "nenhuma ação necessária". "Nenhuma ação necessária" é um feedback útil, porque diz ao HSSC que um item não se aplicava a membros como o HCHT. Amara acrescenta uma frase explicando o porquê, como "não usamos o produto afetado". O HSSC compartilha a cada trimestre um resumo do feedback de todos os membros, que mostra quais tipos de relatório os membros consideram mais úteis.

15.5 Tempestividade

Um indicador entregue depois do fim da campanha tem pouco valor. Registre o tempo entre a primeira observação e a ação do HCHT. Amara registra o horário da primeira observação segundo o relatório de origem e o horário em que o HCHT aplicou um bloqueio ou concluiu uma caçada. A mediana do intervalo é relatada a cada trimestre. Um intervalo longo pode vir de um feed lento, de uma revisão lenta ou de um processo de mudança lento, e o registro mostra qual etapa demorou mais. Encurtar a etapa mais lenta é a melhoria mais eficaz.

15.6 Precisão e revocação dos bloqueios

A precisão pergunta que parcela dos itens bloqueados era de fato maliciosa; a revocação pergunta que parcela dos itens maliciosos foi bloqueada. Um feed com alta revocação mas baixa precisão inunda a central de atendimento com reclamações; um com alta precisão mas baixa revocação deixa passar campanhas. Acompanhe as duas, em vez de uma única contagem de "acertos". Amara mede as duas para os principais feeds a cada trimestre. A precisão é conferida por amostragem dos itens bloqueados, confirmando cada um; a revocação é mais difícil, então ela a estima a partir de incidentes e de relatórios do HSSC que depois se provaram maliciosos. Os dois números são relatados com suas contagens e seus limites.

Exemplo resolvido

Três feeds relatam o mesmo domínio. Amara confere a proveniência: dois citam o terceiro. Ela registra uma fonte independente, não três, e sua confiança continua moderada. Mais tarde, ela registra que o bloqueio do domínio impediu dois cliques — uma métrica de resultado para a revisão trimestral.

Caso sintético. Os feeds e os cliques são inventados.

Erros e limites

É difícil atribuir resultados apenas à inteligência. Relate a contribuição, não uma prova.

Exercícios

EX043 — Rótulo da camada. Rotule "o usuário provavelmente clicou no link" como observação, inferência ou avaliação.
Mostrar critérios de avaliação
Rubrica: 3 = inferência, com justificativa; 2 = inferência; 1 = observação; 0 = nenhuma.
EX044 — Notificação circular. Como a proveniência mudou a contagem de fontes de Amara?
Mostrar critérios de avaliação
Rubrica: 3 = três relatórios, uma fonte independente; 2 = parcial; 1 = três fontes; 0 = nenhuma.
EX045 — Tipo de métrica. "50.000 indicadores ingeridos neste mês" é uma métrica de atividade ou de resultado? Sugira uma alternativa de resultado.
Mostrar critérios de avaliação
Rubrica: 3 = atividade; p. ex., bloqueios que impediram cliques/achados de caçadas; 2 = só atividade; 1 = resultado; 0 = nenhuma.

Síntese

Separe as camadas de evidência, mantenha a proveniência, meça os resultados e dê feedback aos produtores.

Continue estudando — capítulo 15 de 40

← Capítulo 14 (rascunho) · Índice de capítulos do curso · Capítulo 16 (rascunho) →