When Optimization Becomes Manipulation: Defending Generative Search against Malicious Generative Engine Optimization
该论文研究的是针对生成式搜索引擎的恶意生成式引擎优化(GEO)攻击的防御问题。GEO 攻击通过改写网页文档来迎合搜索引擎的引用偏好,从而操纵生成式搜索引擎在回答中优先引用或放大特定目标文档。近期的 GEO 方法已从手工改写演变为自动化、智能
共收录 1542 条相关情报。
← 返回所有主题该论文研究的是针对生成式搜索引擎的恶意生成式引擎优化(GEO)攻击的防御问题。GEO 攻击通过改写网页文档来迎合搜索引擎的引用偏好,从而操纵生成式搜索引擎在回答中优先引用或放大特定目标文档。近期的 GEO 方法已从手工改写演变为自动化、智能
持久化 AI 智能体通过反思、检索与整合构建自传式状态,但这种持久化仅改变信息的可用性,并未提升其认知地位——存储或检索到的内容并不能自动获得有效支持。因此,不受信任的输入、提示注入以及模型自身的推断都可能渗入持久状态,并在后续被系统误当作
本文提出一种名为 Comet 的高效隐私推理系统,旨在加速基于云平台的大语言模型(LLM)推理服务,同时缓解用户对敏感信息泄露的担忧。当前主流方案采用安全多方计算(MPC)保护推理过程中的数据隐私,但 MPC 需要频繁的服务器间通信,导致显
该论文研究离线强化学习(Offline RL)中的轨迹遗忘(trajectory unlearning)问题。离线强化学习利用预先收集的静态数据集训练智能体,在医疗、能源管理等无法进行在线交互的真实场景中具有广泛应用。然而,随着数据隐私法规
本文针对智能体(Agent)评估中的证据充分性与覆盖范围问题,提出了一套名为 ClaimReceipt 的声明相对收据规范与选择性验证器。研究背景是:在智能体评测中,存在两种不同的证据问题:一是已报告声明能否从保留证据中重新计算得出(充分性
本文面向自主智能体(autonomous agents)在跨组织执行工具操作时所产生的副作用治理问题。现有的授权机制仅能在操作前做准入控制,本地补偿模块只能处理运行时的回滚,二者都无法解决‘操作被允许却执行失败后留下残余损害’的难题。作者提
长时程智能体(如自动编码代理)执行数千个动作,其故障往往是顺序蔓延而非孤立错误。针对此类场景中的问责、因果追溯和第三方验证问题,论文提出“Agent Flight Recorder”(AFR):一种面向工具使用型智能体的防篡改审计追踪系统。
本研究针对 AI 驱动的教育系统在隐私保护与准确认知诊断之间难以兼顾的显著挑战,提出了一种隐私保护的多 LLM 联邦推理框架。传统方法通常需要集中学生原始数据或直接访问商业模型内部,导致隐私风险。该框架允许多个商业 LLM API(例如 L
这篇论文研究长效 LLM 代理(Long-running LLM agents)中持久内存(persistent memory)的授权状态管理问题。持久内存用于跨交互保存状态,包括权限、限制和撤销记录。作者发现,当内存错误表达不断演变的授权
本文提出 Modelstamp,一个轻量级 Python 持久化库,旨在解决机器学习模型在反序列化之前的完整性验证与运行时环境状态核验问题。研究背景是:已持久化的 ML 模型可以保持字节完全一致,但其加载所依赖的软件环境会随时间演变,因此仅
本文针对全同态加密(FHE)下运行语言模型推理速度过慢的问题展开研究。在 FHE 密文上,模型只能原生支持加法、乘法和旋转操作,且乘法深度受限,超过一定层数就必须执行高开销的 bootstrapping 操作以继续计算。因此,模型中的非线性
该研究针对一个实际安全评估盲区: 当同一个智能体(Agent)同时使用 MCP 工具调用和 A2A 委托时,单独对每一层评估的安全性可能无法描述组合行为。作者构建了一个受控测试床: 一个真实模型主机通过本地 MCP 访问工具,再经本地 A2
本文针对技能增强型智能体(skill-augmented agents)的安全问题展开研究。此类智能体会将可复用的技能作为持久化运行时上下文加载,以提升任务执行能力,但这也为恶意技能提供了长期影响后续行为的通道。恶意技能可能在特定用户任务和
这篇论文研究良性微调(benign fine-tuning)如何严重削弱大型语言模型(LLM)的安全对齐(safety alignment),并探索拒绝行为(refusal behavior)为何如此脆弱。以往研究常将安全失效归因于梯度冲突
该研究揭示了一种针对隐形水印的新型规避风险——水印清洗(watermark laundering)。传统上,隐形水印的鲁棒性测试仅针对压缩、模糊、噪声、裁剪、去噪等预定义扰动。然而,公开的基础图像模型(如 OpenAI 和 Google 的
本文介绍 MutMem-V2,一个面向持久化代理记忆(persistent agent memory)的密码学授权变异(cryptographically authorized mutation)协议。V1 版本虽然提出了保留记忆的变异机制
本文针对真实世界高知名度 AI Agent 系统(如 Claude Code、Codex)的上下文组装(context assembly)设计进行了首次系统性安全分析。研究背景是:现代 AI Agent 依赖专有或不透明的机制将来自多源的信
该论文提出 Athena,一个基于知识图谱的漏洞影响库识别系统。研究背景是:广泛使用的库中单个漏洞可能影响数百万下游应用,但超过半数的漏洞数据库条目存在受影响库信息缺失或错误的问题。现有自动化方法将识别问题当作孤立的文本检索任务,忽略了漏洞
该论文提出了一种名为 Reveree 的诊断框架,用于深入评估大型语言模型(LLM)代理在逆向工程(RE)任务中的表现。当前社区通常使用 CTF(Capture-the-Flag)逆向工程挑战作为衡量标准,但仅凭是否拿到 flag(解题率)
本文是一篇面向系统化知识的综述(SoK)论文,聚焦于人工智能(尤其是大语言模型)在网络威胁情报(CTI)生成与共享流程中的应用。研究背景是:CTI 对于保护关键基础设施至关重要,但从原始攻击证据到可共享情报的转化过程目前碎片化且缺乏系统研究