Capítulo 18 — Métodos de pesquisa I
Mapa da aula
Aula 18 publicada. Mapa, exemplo, EX052.
flowchart TD
N0["18.1 Perguntas"]
N1["18.2 Literatura"]
N2["18.3 Experimentos"]
N3["18.4 Relato honesto"]
N4["18.4b Ética no desenho da pesquisa"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5
N5 --> EX["Exemplo resolvido"]
EX --> Q["Exercício EX052"]
Desenho lógico
flowchart LR
N0["18.1 Perguntas"]
N1["18.2 Literatura"]
N2["18.3 Experimentos"]
N3["18.4 Relato honesto"]
N4["18.4b Ética no desenho da pesquisa"]
N5["Síntese"]
N0 --> N1 --> N2 --> N3 --> N4 --> N5 --> Q["EX052"]
[18.1 Perguntas]
|
v
[18.2 Literatura]
|
v
[18.3 Experimentos]
|
v
[18.4 Relato honesto]
|
v
[18.4b Ética no desenho da pesquisa]
|
v
[Síntese]
|
v
[Exemplo resolvido] --> [Exercício EX052]
Objetivos de aprendizagem
Você vai (1) formular perguntas de pesquisa em segurança de IA; (2) encontrar e avaliar literatura; (3) projetar experimentos simples com controles; e (4) relatar resultados com honestidade e com suas limitações.
18.1 Perguntas
Uma boa pergunta é específica, respondível e útil: "Exigir a confirmação do paciente reduz as marcações não autorizadas pelo Ask Lumen sob documentos injetados, e quanto isso custa em marcações concluídas?" Ela nomeia o sistema, a intervenção, o resultado e a comparação. A comparação é a parte que mais costuma faltar: sem ela, um resultado como "nenhuma marcação não autorizada" não pode ser atribuído à confirmação, e não ao fato de os casos de teste serem fáceis. Nomear o custo, as marcações concluídas, torna o estudo útil para a LCH, que precisa pesar segurança contra atendimento.
18.2 Literatura
Comece por visões gerais — NIST AI 100-2 E2025 para a terminologia de ML adversarial, OWASP LLM 2025 para riscos de aplicações com LLM, MITRE ATLAS para técnicas do mundo real — e depois leia artigos-chave anotando modelo de ameaça, método, métricas e limitações. Verifique cada referência. Para seu estudo sobre confirmação, Rina lê trabalhos sobre injeção indireta de prompt e sobre confirmação humana em sistemas automatizados, anotando para cada artigo qual ataque ele supõe e como o sucesso foi medido. Ela registra onde os artigos discordam e por quê, muitas vezes por causa de modelos de ameaça diferentes. Verificar referências é o hábito do capítulo de escrita, agora aplicado a uma revisão de literatura completa.
18.3 Experimentos
Mude uma coisa de cada vez; mantenha uma condição de controle; use dados de teste reservados; repita com várias sementes; registre as versões. Decida métricas e limiares antes de executar, para que os resultados não conduzam a análise. No estudo de Rina, a única mudança é a confirmação ligada ou desligada; o controle é o mesmo chatbot sem ela; os documentos de teste são escritos separadamente do desenvolvimento; e as métricas, marcações causadas por documentos injetados e marcações normais concluídas, são fixadas de antemão, com um plano de intervalos escrito antes de qualquer execução.
18.4 Relato honesto
Relate todas as condições, não só a melhor; dê intervalos; descreva o que não foi testado. Lipton e Steinhardt (arXiv:1807.03341) descrevem "tendências preocupantes", como fontes de ganho pouco claras; evite-as explicando qual mudança causou qual efeito. O relatório de Rina inclui a queda nas marcações concluídas, que alguns leitores poderiam ver como enfraquecendo a defesa da confirmação. Omiti-la enganaria a LCH quanto ao custo. Ela também explica que foi a confirmação, e não outra mudança, que causou o efeito, porque só essa configuração diferia entre as condições. O que ela não testou, como outros idiomas, fica listado.
18.4b Ética no desenho da pesquisa
Experimentos de segurança de IA podem causar danos: payloads que funcionam em produtos reais, conjuntos de dados com dados pessoais ou testes em sistemas que não são seus. Use dados sintéticos e sistemas isolados, mantenha os payloads inofensivos (por exemplo, apontados para domínios reservados .invalid), obtenha aprovação ética quando houver participação de pessoas e planeje a divulgação caso descubra uma vulnerabilidade real. Os documentos injetados de Rina tentam marcar consultas para um identificador de paciente sintético na cópia isolada, de modo que nada afeta pacientes reais ou sistemas reais. Nenhum funcionário das clínicas é enganado.
18.5 Exemplo resolvido (caso sintético da LCH)
O primeiro estudo de Rina comparou o Ask Lumen com e sem confirmação em 300 documentos injetados sintéticos e 300 conversas normais de marcação. Sem confirmação, 21 documentos injetados causaram marcações (7.0%); com confirmação, 0 (limite superior ≈ 1%). As marcações normais concluídas caíram de 97% para 94%, porque alguns usuários de teste desistiram na etapa de confirmação. Ela relatou os dois efeitos e anotou que os usuários de teste eram colegas, não pacientes. A taxa de 7.0% tem um intervalo de Wilson de cerca de 4.6% a 10.5%, claramente acima da condição com confirmação, então a diferença não é resultado do acaso. A queda de três pontos nas marcações normais é o custo.
18.6 Erros e limites
Três erros são comuns: perguntas amplas demais; nenhuma condição de controle; e relatar apenas resultados favoráveis. Uma pergunta ampla demais, como "o Ask Lumen é seguro?", não pode ser respondida por nenhum estudo isolado. Sem uma condição de controle, um resultado observado não pode ser atribuído à intervenção. Relatar apenas resultados favoráveis, por exemplo o ganho de segurança sem a queda de 97% para 94% nas marcações concluídas, engana quem decide sobre os compromissos. O desenho do estudo de Rina evita cada um deles ao nomear de antemão a comparação, o custo e os limites.
Exercícios
- EX052 — Pergunta. Escreva uma pergunta de pesquisa sobre o DocSort usando os quatro elementos. Rubrica: 3 = sistema, intervenção, resultado, comparação; 2 = três; 1 = vaga; 0 = nenhuma.
- EX053 — Controles. Por que uma condição de controle é necessária no estudo de Rina? Rubrica: 3 = mostra o efeito da confirmação em relação à linha de base; 2 = parcial; 1 = vago; 0 = errado.
- EX054 — Limitação. Indique uma limitação do estudo de Rina e seu efeito sobre as conclusões. Rubrica: 3 = colegas, não pacientes → o custo na conclusão pode ser diferente; ou documentos sintéticos; 2 = só a limitação; 1 = genérica; 0 = nenhuma.
Síntese
Os métodos de pesquisa transformam perguntas em respostas confiáveis: perguntas claras, literatura sólida, experimentos controlados e relatos honestos, com limitações.
Continue estudando — capítulo 18 de 40
← Capítulo 17 (rascunho) · Índice de capítulos do curso · Capítulo 19 (rascunho) →