## Capítulo 15 — Evidência e medição ### Mapa da aula Aula 15 publicada. Mapa, exemplo, EX043. ```mermaid flowchart TD N0["15.1 Três camadas"] N1["15.2 Proveniência"] N2["15.3 Medir a inteligência"] N3["15.4 Feedback"] N4["15.5 Tempestividade"] N5["15.6 Precisão e revocação dos bloqueios"] N6["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 N6 --> EX["Exemplo resolvido"] EX --> Q["Exercício EX043"] ``` ### Desenho lógico ```mermaid flowchart LR N0["15.1 Três camadas"] N1["15.2 Proveniência"] N2["15.3 Medir a inteligência"] N3["15.4 Feedback"] N4["15.5 Tempestividade"] N5["15.6 Precisão e revocação dos bloqueios"] N6["Síntese"] N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> Q["EX043"] ``` ```text [15.1 Três camadas] | v [15.2 Proveniência] | v [15.3 Medir a inteligência] | v [15.4 Feedback] | v [15.5 Tempestividade] | v [15.6 Precisão e revocação dos bloqueios] | v [Síntese] | v [Exemplo resolvido] --> [Exercício EX043] ``` ### Objetivos de aprendizagem Você vai (1) distinguir observação, inferência e avaliação; (2) registrar a proveniência de cada evidência; (3) medir a utilidade da inteligência; (4) separar métricas de atividade de métricas de resultado. ### 15.1 Três camadas Uma observação: "o proxy registrou uma conexão a portal-login.example às 09:41". Uma inferência: "o usuário provavelmente clicou no link de phishing". Uma avaliação: "o HCHT provavelmente foi visado pela campanha do setor". Cada camada precisa de sustentação própria, e os relatórios devem rotular qual é qual. Amara marca cada frase de seus rascunhos como observação, inferência ou avaliação. Os leitores podem então ver quais afirmações são fatos tirados dos logs e quais são julgamentos, e podem contestar os julgamentos sem duvidar dos fatos. Quando chega evidência nova, uma inferência pode mudar enquanto a observação continua a mesma. ### 15.2 Proveniência Para cada item, registre quem o relatou, quando, por qual canal, sob qual TLP e em que ele se baseia. Sem proveniência, um indicador copiado entre feeds parece ter muitas fontes quando tem uma — a notificação circular. O banco de dados de Amara guarda a proveniência de cada indicador, e seus relatórios citam a fonte original, e não o feed que a repetiu. Quando dois membros do HSSC relatam o mesmo domínio, ela confere se ambos o viram de forma independente ou se um copiou o relatório do outro. Só observações independentes aumentam a confiança. A notificação circular já inflou duas vezes a confiança nos resumos do HSSC, e é por isso que a comunidade agora pede aos membros que declarem sua fonte original. ### 15.3 Medir a inteligência Contar os indicadores ingeridos mede atividade. As medidas de resultado perguntam: a inteligência levou a um bloqueio que impediu algo, a uma caçada que encontrou algo ou a uma decisão que mudou? Menos indicadores, e melhores, podem produzir mais valor. Amara acrescenta ao banco de indicadores uma coluna de resultado: bloqueado, caçado com resultado, caçado sem resultado ou nenhuma ação. Depois de um trimestre, ela consegue mostrar quais fontes levaram a ações e quais só acrescentaram volume. Os números ajudam a equipe a decidir quais feeds valem o tempo de processamento e quais poderiam ser abandonados. ### 15.4 Feedback Os consumidores devem dizer aos produtores o que ajudou. O formulário mensal de feedback do HSSC pergunta aos membros quais itens levaram a ações. Amara o preenche com honestidade, incluindo "nenhuma ação necessária". "Nenhuma ação necessária" é um feedback útil, porque diz ao HSSC que um item não se aplicava a membros como o HCHT. Amara acrescenta uma frase explicando o porquê, como "não usamos o produto afetado". O HSSC compartilha a cada trimestre um resumo do feedback de todos os membros, que mostra quais tipos de relatório os membros consideram mais úteis. ### 15.5 Tempestividade Um indicador entregue depois do fim da campanha tem pouco valor. Registre o tempo entre a primeira observação e a ação do HCHT. Amara registra o horário da primeira observação segundo o relatório de origem e o horário em que o HCHT aplicou um bloqueio ou concluiu uma caçada. A mediana do intervalo é relatada a cada trimestre. Um intervalo longo pode vir de um feed lento, de uma revisão lenta ou de um processo de mudança lento, e o registro mostra qual etapa demorou mais. Encurtar a etapa mais lenta é a melhoria mais eficaz. ### 15.6 Precisão e revocação dos bloqueios A precisão pergunta que parcela dos itens bloqueados era de fato maliciosa; a revocação pergunta que parcela dos itens maliciosos foi bloqueada. Um feed com alta revocação mas baixa precisão inunda a central de atendimento com reclamações; um com alta precisão mas baixa revocação deixa passar campanhas. Acompanhe as duas, em vez de uma única contagem de "acertos". Amara mede as duas para os principais feeds a cada trimestre. A precisão é conferida por amostragem dos itens bloqueados, confirmando cada um; a revocação é mais difícil, então ela a estima a partir de incidentes e de relatórios do HSSC que depois se provaram maliciosos. Os dois números são relatados com suas contagens e seus limites. ### Exemplo resolvido Três feeds relatam o mesmo domínio. Amara confere a proveniência: dois citam o terceiro. Ela registra uma fonte independente, não três, e sua confiança continua moderada. Mais tarde, ela registra que o bloqueio do domínio impediu dois cliques — uma métrica de resultado para a revisão trimestral. > **Caso sintético.** Os feeds e os cliques são inventados. ### Erros e limites É difícil atribuir resultados apenas à inteligência. Relate a contribuição, não uma prova. ### Exercícios - **EX043 — Rótulo da camada.** Rotule "o usuário provavelmente clicou no link" como observação, inferência ou avaliação. *Rubrica:* 3 = inferência, com justificativa; 2 = inferência; 1 = observação; 0 = nenhuma. - **EX044 — Notificação circular.** Como a proveniência mudou a contagem de fontes de Amara? *Rubrica:* 3 = três relatórios, uma fonte independente; 2 = parcial; 1 = três fontes; 0 = nenhuma. - **EX045 — Tipo de métrica.** "50.000 indicadores ingeridos neste mês" é uma métrica de atividade ou de resultado? Sugira uma alternativa de resultado. *Rubrica:* 3 = atividade; p. ex., bloqueios que impediram cliques/achados de caçadas; 2 = só atividade; 1 = resultado; 0 = nenhuma. ### Síntese Separe as camadas de evidência, mantenha a proveniência, meça os resultados e dê feedback aos produtores. ### Continue estudando — capítulo 15 de 40 [← Capítulo 14 (rascunho)](#ch-14) · [Índice de capítulos do curso](../SUBJECTS.md) · [Capítulo 16 (rascunho) →](#ch-16) ## Worked answers **EX043.** Inferência — vai além da conexão registrada para inferir uma ação do usuário. **EX044.** Dois dos três feeds citavam o terceiro, então havia uma única fonte independente e a confiança não aumentou. **EX045.** Atividade. Uma alternativa de resultado é o número de conexões bloqueadas que impediram a digitação de credenciais ou o número de caçadas que encontraram atividade real.