#fact-verification

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Zhaoqi Wang, Zijian Zhang, Xiaomei Yuan, Pengtao Kou, Jiamou Liu, Zhen Li, Liehuang Zhu

该论文关注大型语言模型(LLM)在依赖检索工具获取最新信息时面临的新攻击面:攻击者可通过操纵检索文档来影响模型输出。随着生成式引擎优化(Generative Engine Optimization)的发展,特定内容更易被检索、引用和采纳,放大了这一风险。现有的事实验证基准和评估框架缺乏受控的证据环境,无法评估模型对地理风格(GEO)投毒的鲁棒性。为此,作者提出了GPE,包含一个多领域的事实验证基准和一个评估框架,能够控制证据来源和投毒比例。实验在多种验证方法和投毒攻击下进行,结果表明GPE能够揭示仅通过干净评估无法观察到的鲁棒性下降和效率权衡,证实了在对抗性证据环境下评估事实验证的必要性。该研究为LLM安全评估提供了新的视角和方法。

💡 推荐理由: 揭示了LLM检索增强生成(RAG)中证据投毒这一攻击向量,并提供了评估模型鲁棒性的标准化方法,对构建安全可靠的检索增强系统具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)