Capítulo 42 — Inteligência de ameaças e OSINT: pesquisa aplicada
Mapa da aula
Aula 42 publicada. Mapa, exemplo, EX124.
flowchart TD
N0["42.1 Perguntas vindas da operação"]
N1["42.2 Dados e consentimento"]
N2["42.3 Método"]
N3["42.4 Humildade na estatística"]
N4["42.5 Publicação"]
N5["Nota de prática — reprodutibilidade"]
N6["Revisão por pares dentro da BEN"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7
N7 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX124"]
Desenho lógico
flowchart LR
N0["42.1 Perguntas vindas da operação"]
N1["42.2 Dados e consentimento"]
N2["42.3 Método"]
N3["42.4 Humildade na estatística"]
N4["42.5 Publicação"]
N5["Nota de prática — reprodutibilidade"]
N6["Revisão por pares dentro da BEN"]
N7["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> N6 --> N7 --> Q["EX124"]
[42.1 Perguntas vindas da operação]
|
v
[42.2 Dados e consentimento]
|
v
[42.3 Método]
|
v
[42.4 Humildade na estatística]
|
v
[42.5 Publicação]
|
v
[Nota de prática — reprodutibilidade]
|
v
[Revisão por pares dentro da BEN]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX124]
Objetivos de aprendizagem
Você vai (1) formular uma pergunta de pesquisa de engenharia a partir dos dados operacionais do Lantern; (2) projetar um estudo que use dados sintéticos ou consentidos; (3) avaliar os resultados estatisticamente com a devida humildade; (4) relatar os achados para profissionais e pesquisadores.
42.1 Perguntas vindas da operação
Os registros do Lantern sugerem perguntas: a meia-vida dos indicadores difere conforme o parceiro setorial? A detecção comportamental pega incidentes que a correspondência de indicadores deixa passar? Quanto os avistamentos compartilhados com os parceiros melhoram suas decisões de aposentadoria? Kofi escolhe perguntas cuja resposta mudaria algo que a BEN faz. A pergunta da meia-vida afeta quanto tempo os indicadores ficam em bloqueio. A pergunta da detecção afeta onde a equipe investe esforço. Perguntas apenas interessantes, sem nenhuma decisão associada, esperam até que as úteis sejam respondidas. Cada pergunta tem um responsável.
42.2 Dados e consentimento
Os dados operacionais internos podem ser usados para melhorias segundo as políticas da BEN; os dados dos parceiros precisam do consentimento deles para uso em pesquisa e publicação. Dados pessoais são excluídos. Onde falta consentimento, dados sintéticos que reproduzem as propriedades estatísticas podem testar métodos, mas não provar fatos sobre o mundo real. Kofi perguntou por escrito a cada parceiro se seus dados podiam ser incluídos de forma agregada, e dois recusaram. Seus indicadores foram excluídos do estudo, o que o estreitou, mas manteve a confiança deles. O estudo registra essa exclusão.
42.3 Método
Kofi estuda as meias-vidas: para cada indicador aposentado, ele reapareceu em avistamentos dentro de 60 dias? Ele ajusta taxas de nova observação por tipo de indicador e as compara com as hipóteses do modelo de decaimento. A escolha de sessenta dias decorre das meias-vidas existentes: uma janela mais curta que a meia-vida suposta para domínios perderia reaparições que o modelo considera prováveis. Kofi conta cada indicador uma única vez, seja qual for o número de avistamentos posteriores, para evitar que alguns indicadores muito ativos dominem o resultado. Ele também registra os indicadores que nunca foram avistados, já que eles também trazem informação sobre o decaimento.
42.4 Humildade na estatística
Relate os tamanhos de amostra e os intervalos. Uma diferença de dois dias na meia-vida entre parceiros pode ser ruído com amostras pequenas. Kofi calculou intervalos para a taxa de nova observação de cada tipo de indicador e descobriu que os intervalos de dois parceiros se sobrepunham quase por completo, então não afirmou diferença entre eles. O achado sobre domínios era mais claro porque aquela amostra era bem maior. Seu relatório declara o número de indicadores por trás de cada taxa e diz com clareza onde os dados não conseguiram separar um efeito do acaso.
42.5 Publicação
Os resultados são compartilhados primeiro com os parceiros, de forma agregada, e depois, talvez, em uma conferência de profissionais, com a aprovação da BEN. Indicadores brutos nunca são publicados. Os parceiros veem os achados antes de qualquer outro porque seus dados contribuíram e suas próprias configurações de decaimento podem precisar mudar. Uma palestra em conferência descreveria os métodos e os resultados agregados, depois da revisão pela equipe de comunicação da BEN e pelos parceiros nomeados no acordo de compartilhamento. Os indicadores brutos ficam de fora porque poderiam revelar quais organizações foram visadas, mesmo depois do fim da campanha.
Nota de prática — reprodutibilidade
Código, geradores de dados sintéticos e arquivos de parâmetros são arquivados para que outro engenheiro possa repetir a análise no ano seguinte.
Revisão por pares dentro da BEN
Antes de compartilhar para fora, um analista sênior e um revisor de proteção de dados leem o estudo. O analista confere se as conclusões decorrem dos dados; o revisor confere se nenhum parceiro ou pessoa pode ser identificado a partir de tabelas ou exemplos.
Exemplo resolvido
Os dados de nova observação mostram que indicadores de domínio são avistados de novo em taxas significativas até cerca de 60 dias, mais que a meia-vida suposta de 45 dias. Kofi propõe aumentar a meia-vida dos domínios e documenta o tamanho da amostra, o intervalo e os limites.
Caso sintético. Os achados são inventados.
Erros e limites
Os dados operacionais refletem o ambiente da BEN; generalize com cautela. Não publique estatísticas específicas de um parceiro sem consentimento.
Exercícios
- EX124 — Pergunta de pesquisa. Escreva uma pergunta de pesquisa que os dados do Lantern poderiam responder. Rubrica: 3 = específica, mensurável, usa dados disponíveis; 2 = vaga; 1 = impossível de responder; 0 = nenhuma.
- EX125 — Limite dos dados sintéticos. O que os dados sintéticos podem mostrar nesta pesquisa, e o que não podem? Rubrica: 3 = testar métodos/pipelines; não provar fatos do mundo real; 2 = uma das metades; 1 = provam tudo; 0 = nenhuma.
- EX126 — Ordem de publicação. Em que ordem os resultados são compartilhados, e por quê? Rubrica: 3 = primeiro os parceiros, de forma agregada, depois mais amplamente com aprovação; reciprocidade/consentimento; 2 = só a ordem; 1 = primeiro o público; 0 = nenhuma.
Síntese
Faça perguntas operacionais, respeite o consentimento, teste os métodos com dados sintéticos, relate com humildade e compartilhe primeiro com os parceiros.
Continue estudando — capítulo 42 de 50
← Capítulo 41 (rascunho) · Índice de capítulos do curso · Capítulo 43 (rascunho) →