Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
本论文研究了 LLM agent 在跨步骤和会话中使用压缩记忆时，记忆体（如 mem0、LangMem）对对话内容进行重写为存储的“事实”所引发的安全隐患。作者通过构建实验环境，展示了一种无攻击者参与的“制造确信”现象：一个随意、含糊的评论
#LLM
共收录 2152 条相关情报。
← 返回所有主题Breaking the Rounding Trap: Securing LLMs against Quantization-Conditioned Backdoors
模型量化是降低大语言模型存储和推理开销的关键技术，但最近的研究表明，量化引入的离散化和舍入误差可被攻击者利用，构造量化条件后门攻击。在这种攻击下，恶意行为在全精度阶段保持休眠，仅在量化部署后激活，从而绕过传统的安全审计和检测机制。针对这一威
Using LLMs to Identify Personal Data Processing in Source Code.
该研究提出了一种基于大型语言模型（LLM）的方法，用于自动识别源代码中个人数据的处理行为，以辅助隐私影响评估。当前软件产品的隐私合规审查高度依赖人工专家，耗时且易出错，尤其面对大规模、频繁变更的应用时挑战巨大。作者首先构建了一个标注数据集，
Poster: Agentic Shell Honeypot Using Structured Logging.
传统shell蜜罐通过模拟命令行界面记录攻击者行为，但通常依赖静态规则响应，无法反映真实世界多轮对抗的复杂性。近年来，大语言模型（LLM）驱动的蜜罐被提出以增强交互真实感，但现有系统仍面临提示注入、状态不一致以及响应延迟等脆弱性，限制了其实
EchoLLM: LLM-Augmented Acoustic Eavesdropping Attack on Bone Conduction Headphones with mmWave Radar.
本研究提出了一种名为EchoLLM的新型声学窃听攻击方法，利用毫米波雷达结合大语言模型（LLM）从骨传导耳机中恢复语音信号。骨传导耳机通过振动颅骨传输声音，传统窃听手段难以直接捕获。作者通过向骨传导耳机发射毫米波雷达信号，并接收反射信号中的
Exploiting Task-Level Vulnerabilities: An Automatic Jailbreak Attack and Defense Benchmarking for LLMs.
该论文针对大型语言模型（LLM）面临的任务级越狱攻击威胁，提出了一种自动化的基准测试框架。研究首先系统性地定义了任务级漏洞的概念，即攻击者通过构造特定任务输入诱使LLM执行非预期行为。作者设计了一种基于对抗性提示生成的自动化攻击方法，能够在
Syntactic Separation Implies Computational Indistinguishability: An Abstract Obstruction Theorem
本文提出并证明了一个新的元定理：语法分离蕴含计算不可区分性。具体而言，考虑一个局部语法系统R，它在半径r0内作用于项而不依赖任何模型。当两个Skolem函数在R中被语法分离时，任何演绎都不能证明它们的等价性（情形1），并且任何合理的局部扩展
Symbolon: Symbolic Execution by Learning Code Transformation
符号执行是一种强大的程序分析技术，广泛应用于漏洞检测、安全测试和恶意软件分析等领域。然而，该技术面临可扩展性问题，例如路径爆炸和复杂约束，这些问题往往源于真实程序中常见的特定结构和语义模式。现有方法尝试通过将程序转换为新表示来规避这些模式，
From Tool Connection to Execution Control: Benchmarking Security Invariants in MCP-Style Agent Runtimes
本文研究MCP（Model Context Protocol）风格的代理运行时的安全不变性。MCP为语言模型应用提供了工具、资源、提示和传输的连接层，但随着代理从连接向执行推进，安全决策分散在客户端、服务器、提示、批准对话框、OAuth部署
Beyond Her: Safety Dynamics in Role-play AI Companions
本文探讨了角色扮演AI伴侣（RAC）的使用安全动态。随着像电影《Her》中描绘的人机情感互动成为现实，RAC通过情感回应模糊了工具使用和关系参与的边界。然而，安全影响尚未被充分理解，因为用户体验会随着时间通过安全动态演变，涵盖情绪和风险行为
FlipGuard: Defending Large Language Models Against Quantization-Conditioned Backdoor Attacks
模型量化是实现大型语言模型（LLM）高效部署的关键技术，但本文揭示了一种新型安全威胁：量化条件后门攻击（QCB）。攻击者通过在预训练或微调阶段植入与特定量化边界精确对齐的恶意权重模式，使得后门在完整精度模型中保持休眠，仅在经过特定量化（如I
Cybersecurity is the True Frontier for Generative AI Success or Failure
本文提出，网络安全领域是检验生成式AI（特别是基于大语言模型的代理系统）成功与否的真正前沿。作者指出，网络安全工作流需要协调数百种标准及定制工具，处理格式多样的数据，且数据规模巨大（例如单个恶意软件样本可视为数十亿token的序列）。标签成
Formal Security Analysis of Agent Protocol Composition
该论文针对AI智能体协议的安全性问题展开研究。当前智能体协议定义了工具调用、任务委派和跨系统协调的方式，但其安全需求不完整且在不同部署中执行不一致。作者提出AgentThread框架，一种从规范文本到运行SDK的源链接安全保证分析框架。Ag
Capability Gates Are Not Authorization: Confused-Deputy Failures in LLM Agent Frameworks
本文针对大型语言模型（LLM）代理框架中的授权缺失问题展开研究。随着工具调用型LLM代理越来越多地处理不受信任的内容，同时持有支付、邮件、CRM和基础设施API等易产生副作用的工具，现有框架默认将工具暴露与授权混为一谈。作者对LangCha
Why Trust Your Agent? Empirical Security Gains from TRiSM-Guided Agentic Workflows in Healthcare
该论文聚焦于基于代理的AI系统（agent-based AI）在医疗报告生成应用中的安全风险与缓解措施。通过将AI代理暴露给多个工具和资源，LLM能够自动化复杂任务，但为了提升功能和准确性，代理常被授予超出普通用户的权限，这可能导致数据泄露
Robust Harmful Features Under Jailbreak Attacks: Mechanistic Evidence from Attention Head Specialization in Large Language Models
本文研究大语言模型在越狱攻击下的内部机制。作者发现攻击并未完全消除模型的安全特征，而是选择性抑制特定注意力头。通过分析，识别出两类功能分化的注意力头：早期层中的“对抗妥协头”（ACH），在攻击下被抑制；以及中间层的“安全对齐头”（SAH），
ToolPrivacyBench: Benchmarking Purpose-Bound Privacy in Tool-Using LLM Agents
本文提出了 ToolPrivacyBench，一个用于评估使用工具的 LLM 智能体（Agent）在目的绑定隐私保护方面的基准。现有评估主要关注任务完成度和 API 正确性（如函数调用基准）或最终响应中的隐私泄露（如隐私判断基准），但忽略了
AdvancedShelLM: A Stateful Multi-Agent LLM Honeypot for SSH Deception
该论文提出了一种新型的基于大语言模型（LLM）的SSH蜜罐设计，名为AdvancedShelLM。针对现有LLM蜜罐（如shelLM）容易被有经验的攻击者识别的问题，作者采用了多智能体、多LLM架构：一个管理智能体（Manager）和一个工
SHARD: cell-keyed residual splitting for alignment-resistant private dense retrieval
该论文提出了一种名为 SHARD 的防御方法，旨在保护密集向量检索（如语义搜索和 RAG）中的嵌入向量不被反演攻击。现有攻击利用密集嵌入的全局几何结构，通过少量已知对齐对即可恢复秘密全局旋转（正交 Procrustes 方法）。SHARD
It Lied to a Doctor to Buy Poison Ingredients: Quantifying Real-World Misuse of Phone-use Agents
本文首次系统研究了Phone-use Agent（手机使用智能体）在实际手机和商业应用中被滥用的安全威胁。Phone-use Agent能够代表用户在真实移动设备上端到端执行复杂任务，其能力远超命令行智能体，因此一旦被恶意利用，危害更大。研