Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution
检索增强生成(RAG)系统通过从外部语料库中检索相关文档来增强大语言模型的输出,但这种机制也引入了安全风险:攻击者可以通过向语料库中注入恶意文档来操控模型输出,即语料投毒攻击。现有检测方法通常依赖辅助分类器或额外的LLM验证,计算开销大,且
今日共收录 1370 条安全情报,包含 648 个 CVE,378 篇安全通告,以及 115 篇研究论文。
← 返回归档列表检索增强生成(RAG)系统通过从外部语料库中检索相关文档来增强大语言模型的输出,但这种机制也引入了安全风险:攻击者可以通过向语料库中注入恶意文档来操控模型输出,即语料投毒攻击。现有检测方法通常依赖辅助分类器或额外的LLM验证,计算开销大,且
该论文系统评估了大型语言模型(LLM)越狱攻击中自动攻击成功率(ASR)评分的可靠性。当前几乎所有越狱论文都依赖自动化评判器(专用安全分类器或通用聊天模型)来报告ASR,但这些评判器本身的准确性很少被检验。作者利用HarmBench分类器验
这篇论文聚焦于黑盒大语言模型(LLM)的蒸馏攻击防御问题。蒸馏攻击是指攻击者通过查询目标模型(教师模型)的API,利用其输出训练一个学生模型,从而窃取模型能力。近期,研究者提出了一系列输出扰动防御方法——通过修改教师模型的输出,在降低学生模
本文针对大型语言模型(LLM)驱动的智能体生态系统中新兴的安全威胁,提出了一种名为ShareLock的隐蔽多工具阈值投毒攻击框架。研究背景是:随着Model Context Protocol(MCP)协议成为连接LLM与外部工具的核心标准,
本文研究了一个关键安全问题:非专业恶意攻击者(“普通用户”)能否利用现有的大量越狱方法来高效攻击大型语言模型(LLM)。作者提出了一个基于多臂老虎机(multi-armed bandit)框架的新型攻击策略,该策略能够通过少量恶意查询的噪声
本论文针对LLM编码代理(如Cline、Codex等)的配置层管理缺失问题展开研究。作者对10,008个公共GitHub仓库中的6,145个代理配置文件进行了大规模流行度分析,发现三个关键问题:1) 配置作为未声明的共享组件传播,10.1%
本文提出了一种自动化形式化(autoformalization)流水线,用于将智能体提示(agent prompts)、MCP工具描述和自然语言策略文档转化为形式化验证的策略。现有方法要么依赖概率性护栏(如微调分类器、提示引导),缺乏形式化
本文提出 VIGIL,一个面向智能体系统的端到端运行时行为规范执行框架。随着智能体系统越来越多地通过第三方技能(skills)执行模型生成的决策,这些技能通常包含自然语言编写的规范,定义访问权限、披露限制、执行权限和前置条件。然而,这些规范
该论文聚焦于LLM智能体在工具调用场景下对间接提示注入攻击的防御问题。近期(2024-2026年)的研究趋同于一种带外防御策略:不是训练模型拒绝恶意指令,而是在模型外部通过确定性策略中介智能体的行动,例如CaMeL、FIDES、Progen
本文提出将纳米机电系统(NEMS)作为先进封装中硬件安全的新型物理原语。随着半导体制造和封装过程中的安全威胁日益严峻(如篡改、伪造、供应链渗透),传统的数字安全方法面临被逆向工程、侧信道攻击等挑战。NEMS通过利用纳米尺度的机械可变性、形状
大型语言模型(LLM)在交互式应用中部署日益广泛,但仍易受到对抗性交互的影响,导致产生有害、欺骗性或违反政策的输出。现有防御通常仅分析用户提示(prompt)或生成输出(response),但许多实际攻击利用了提示中的对抗意图与响应中可操作
该论文测量了Go生态系统中的一种自动化供应链攻击。攻击者将合法的Go模块重新打包到其控制下的所有者账户中,并嵌入混淆代码作为导入触发的下载器。研究者通过两种互补分析方法进行测量:一是对GitHub上2,113个仓库进行手动搜索;二是使用自实
该论文提出了一种名为 SafeVec 的白盒评估方法,用于衡量大型语言模型(LLM)的安全性。传统的安全性评估通常依赖于向模型输入不安全或越狱提示,并判断输出是否违反安全策略,这种方法成本高、对评判选择敏感且容易受限于固定题库。SafeVe
该论文提出了 CrypFormBench (CFB),一个用于评估大语言模型 (LLM) 在密码方案形式化分析方面能力的综合基准。手动进行密码方案的形式化分析需要大量专业知识和时间。虽然模型检测工具(如 Scyther、Tamarin)和计
该论文通过实证研究探讨了在大语言模型(LLM)进行漏洞推理时,程序结构和语义表示方式的影响。作者提出了RepBench基准,将真实世界的C/C++漏洞测试用例转换为多种表示:原始源码、抽象语法树(AST)、控制流图(CFG)、程序依赖图(P
本文提出了 HelpBench,一个用于评估大型语言模型(LLM)在数字隐私、安全和安全方面提供准确帮助能力的基准测试。研究团队收集了 450 个代表真实用户情景的问题,内容涵盖如何重新访问丢失或暂停的账户、如何平衡硬件安全密钥与其他双因素
本文提出 PowerFuzz,一种基于功耗侧通道测量的黑盒固件模糊测试框架。其核心挑战在于黑盒环境下无法获取覆盖率信息来指导模糊器。PowerFuzz 利用目标设备在执行不同代码路径时产生的功耗差异,通过滑动窗口和增长窗口全轨迹相关方法从功
本文对俄罗斯语网络犯罪论坛exploit.in上的Crypter-as-a-Service(CraaS)生态系统进行了纵向分析。CraaS是恶意软件经济中的关键使能层,通过地下服务市场提供按需的逃避检测能力。研究团队从该论坛收集了约100万
该论文针对大型语言模型(LLM)输出溯源的多比特水印问题展开研究。现有基于纠错码(ECC)的水印方法大多采用硬判决解码,未充分利用每个 token 的可靠性信息,导致在编辑攻击(如改写、同义词替换)下鲁棒性不足。作者提出 CORE-BREW
该论文针对社交媒体上虚假新闻(包括错误信息和虚假信息)泛滥的问题,提出需要利用自动化事实核查系统来辅助人工核查。然而,当前基于人工智能和大语言模型的自动化事实核查系统存在做出错误判断并发布不准确结果的风险,这可能导致错误信息的进一步传播或引