What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions
本文研究了大语言模型（LLM）智能体在集成外部资源后所面临的安全威胁。由于智能体依赖统一的自然语言上下文通道进行推理，不可信的外部数据（如网页内容、工具返回结果）可能被动态解析为行为引导指令，从而劫持智能体的决策过程，实现间接提示注入或工具
#attention-mechanism
共收录 4 条相关情报。
← 返回所有主题Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
本文研究大语言模型在越狱攻击下的内部机制。作者发现攻击并未完全消除模型的安全特征，而是选择性抑制特定注意力头。通过分析，识别出两类功能分化的注意力头：早期层中的“对抗妥协头”（ACH），在攻击下被抑制；以及中间层的“安全对齐头”（SAH），
An Efficient and Privacy-Preserving Architecture for Cross-Institutional Collaborative RAG
该论文提出了一种名为FedRAG的高效且隐私保护的联邦检索增强生成（RAG）框架，旨在解决跨机构协作中严格隐私法规导致的“数据孤岛”问题。传统RAG通过外部知识增强大语言模型，跨机构集成需要分布式推理，但Transformer的自注意力机制
Protection Is (Nearly) All You Need: Structural Protection Dominates Scoring in Globally Capped KV Eviction
本文研究了在共享全局上限的解码时（decode-time）场景下，多种KV缓存逐出策略（LRU, H2O, SnapKV, StreamingLLM, Ada-KV, QUEST, Random）的表现。作者发现，这些策略存在一个共同的漏洞