#recommender-system

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yue Xing, Pengfei He, Zitao Li

随着大语言模型及其驱动的智能体(agent)能力增强,这些智能体日益自主化,并可代表用户在互联网上执行操作,例如自动管理用户的社交媒体账号。然而,部署在社交平台上的自动化智能体自身的脆弱性研究仍不充分。现有关于智能体投毒的研究通常假设攻击者能够把恶意内容直接暴露给智能体;这类攻击虽然直接有效,但更容易被检测和缓解。本文转而提出一个更隐蔽的问题:在社交平台场景下,推荐系统本身是否会把投毒内容主动推送到智能体面前。围绕该问题,作者以 OASIS 平台中使用的 like-score(点赞分)机制为研究对象,通过理论分析证明该机制可以被利用,并刻画了在何种条件下,一条由多阶段投毒帖子构成的链条能够操纵智能体的信息流(feed),即把智能体逐步引导至攻击者期望的内容上。基于这些理论洞见,作者进一步设计了一种能够生成看起来真实自然的投毒帖子的算法。实验验证了理论结论,并展示了该算法的有效性。尤为值得注意的是,攻击通过利用 like-score 形成的反馈回路,使得即使投毒帖子与用户/帖子的相似度低于检索阈值,推荐系统仍会选中这些投毒帖子——也就是说,攻击者并不需要让内容在相似度上"过关",而是借助系统自身的反馈放大效应让内容"被系统选中"。该工作把智能体投毒从"直接暴露内容"扩展为"诱导推荐系统主动分发"的多阶段范式,揭示了相似度推荐系统反馈回路作为间接投毒通道的结构性脆弱性,并给出了可检验的理论条件与具体的帖文构造算法。适合研究智能体安全、推荐系统鲁棒性以及社交平台风控的研究者与工程师阅读。

💡 推荐理由: 它说明即使恶意内容未直接注入智能体上下文,推荐系统的点赞反馈回路也可能被操纵,把投毒内容送达智能体。传统基于相似度阈值的过滤在这种间接路径下会失效,防御者需重新评估智能体代管账号所面临的暴露面。

🎯 建议动作: 研究跟进:纳入内部智能体/推荐安全评估,验证自身推荐链路是否存在类似反馈放大路径

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Hai Huang 0014, Jiaming Mu, Neil Zhenqiang Gong, Qi Li 0002, Bin Liu 0045, Mingwei Xu

推荐系统在各类在线服务中帮助用户发现感兴趣内容,基于深度学习的推荐系统因性能优势日益普及。然而,这类系统的安全性鲜有研究。本文首次系统研究针对深度学习推荐系统的数据投毒攻击。攻击者通过注入精心构造评分的虚假用户,操纵系统输出,使攻击者选定的目标物品被推荐给大量正常用户。作者将攻击建模为一个优化问题,目标是最大化正常用户收到目标物品推荐的数量,但该问题属非凸整数规划,难以精确求解。为此,作者提出多种启发式或近似技术来高效求解。在三个真实数据集(含小规模与大规模)上进行实验,结果表明所提攻击成功率显著优于已有攻击方案。此外,作者还尝试基于评分模式统计特征区分正常用户与虚假用户,以检测此类攻击;但实验显示即便部署此类检测器,攻击依然有效,且仍强于现有攻击。该研究揭示了深度学习推荐系统的数据依赖脆弱性:攻击者无需访问模型内部,仅通过向系统注入少量伪造评分即可实现攻击目标。其主要贡献包括:首次系统性定义并研究该问题、提出可扩展的攻击优化框架、验证了攻击的有效性与检测的困难性。对于推荐系统开发者和安全从业者而言,理解此类攻击机制对构建健壮的推荐服务至关重要。

💡 推荐理由: 深度学习推荐系统已广泛应用于电商、内容平台,数据投毒攻击可直接操纵用户看到的推荐内容,导致恶意推广或商业利益受损。本研究首次系统揭露该类系统的数据面风险,为蓝队评估自身推荐服务安全性和设计检测机制提供了基础研究支撑。

🎯 建议动作: 研究跟进:该攻击展示了深度学习推荐系统的数据投毒风险,建议跟踪后续防御研究,并在内部评估自身推荐系统对此类攻击的暴露面。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)