#resume-screening

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Mohan Zhang, Yuqi Jia, Zhen Tan, Steven Jiang, Neil Zhenqiang Gong, Tianlong Chen, Dawn Song

本研究首次系统性地测量了大型语言模型(LLM)在实际应用中的提示注入攻击威胁,聚焦于广泛使用的LLM简历筛选系统。研究基于hireEZ公司收集的约20万份真实简历数据,时间跨度数年。作者首先设计了专门针对简历文本的提示注入检测方法,通过在小规模数据集上的人工验证,证明其检测器精度高,且优于现有通用检测器。然后,将检测器应用于全部简历数据集,进行了大规模的测量分析。关键发现包括:约1%的简历包含隐藏的提示注入;此类注入简历的流行程度在过去一至两年内显著增加;超过90%的注入提示不使用显式指令(例如“忽略之前指令”),而是采用隐晦的自然语言操控。这些结果首次提供了LLM实际应用中大规模提示注入攻击的证据,揭示了该威胁在现实世界中的普遍性和增长趋势,为未来理解和缓解此类攻击奠定了基础。该研究对LLM安全研究者、AI应用开发者和安全运营团队具有重要参考价值。

💡 推荐理由: 首次基于真实世界大规模数据证实LLM应用(简历筛选)中提示注入攻击的普遍性(约1%),且攻击手法隐蔽(90%以上无显式指令),威胁正快速上升。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)