#adversarial

共收录 8 条相关安全情报。

← 返回所有主题
👥 作者: Yi Ting Shen, Kentaroh Toyoda, Alex Leung

当前大语言模型(LLM)的安全性评估主要依赖单轮攻击数据集和单一评分器,这低估了自适应多轮攻击者带来的风险,并且报告的成功率无法区分部分可操作的输出与包含完整操作细节的输出。本文提出AMT-X(自适应多轮利用)框架,一种阶段结构化的多轮红队测试方法。与以往依赖临时升级或自由形式每目标计划的多轮攻击不同,AMT-X将攻击建模为一个显式的、可复现的多阶段状态机,由受害者模型的语义信号驱动,并用多角色评审团取代单一评分器,评审团通过阶段条件检查表来判定是否达到可操作危害。实验在六种前沿LLM(使用默认安全对齐,无额外调节层)和七个内容审核子类别上进行。在宽松阈值下,AMT-X的攻击成功率达到97.6-100%;但在要求完整、真实且可操作的严格阈值下,成功率降至66.7-78.6%,两者差距高达33个百分点。这表明现有评估可能严重高估了防护能力,因为大量成功攻击仅产生部分可操作信息,而真正的完整危害要少得多。该工作为LLM安全评估提供了一种更精细、更具挑战性的基准,有助于揭示模型在多轮对抗下的真实脆弱性。

💡 推荐理由: 该工作揭示了当前LLM安全评估的重大盲区:单轮测试和单一评分无法反映多轮自适应攻击中事实上的可操作危害。AMT-X提供更严格的评估标准,帮助防御者识别哪些攻击真的需要紧急应对,避免被虚假的“成功”误导。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Mahdi Rahimi 0003

该论文系统性地研究了混合网络(mixnets)在面对恶意节点时的失效模式。混合网络是匿名通信的关键基础设施,通过多跳混淆和延迟发送来隐藏通信关系。然而,当网络中部分节点被敌手控制时,敌手可能通过流量分析、时序关联等攻击破坏匿名性。论文首先形式化定义了混合网络中敌手节点的能力模型,包括被动监听、主动延迟、消息丢弃等。随后提出了一套量化评估框架,用于度量在不同敌手比例、网络拓扑和混合策略下匿名性退化的程度。实验基于大规模仿真,对比了Cascade、Stratified、Freedom等经典混合拓扑,发现当敌手节点占比超过30%时,大多数混合网络匿名性急剧下降。论文进一步提出了一种基于随机转发与动态路径选择的缓解机制,该机制能够在不显著增加延迟的前提下,将敌手节点的影响降低一个数量级。主要贡献包括:1)首个系统性的混合网络抗敌手节点量化分析;2)一个可扩展的评估框架;3)一种实用的缓解方案。适合对匿名通信、网络防御和隐私保护感兴趣的研究人员阅读。

💡 推荐理由: 混合网络是Tor等匿名系统的基础,该研究揭示了当网络被渗透时匿名性的脆弱性,对安全运维者部署和监测混合网络具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Prashanti Nilayam, Kiran Kumar Ramanna, Prashil Tumbade, Sankalp Nayak

该论文研究了异构大语言模型(LLM)在多智能体辩论中面对恶意的对手时的表现。核心问题是:异构的同伴在传递纠正信息的同时也可能传递对抗性影响,哪一方占主导?作者通过跟踪诚实代理(defender)的修订行为来测量:他们改变答案的频率,以及改变是纠正性的还是有害的。实验比较了同质基线(全诚实)、诚实混合(诚实+诚实异构)和恶意混合(诚实+恶意异构)三种面板,以及受污染面板(已有恶意同族peer)的情况。使用四个模型家族(如Llama-3.1-70B、GPT-4等)和三个推理基准(如MATH-hard)。主要发现:(1)诚实的异构peer显著降低有害修订率(对于Llama-3.1-70B在MATH-hard上,从同质面板的89%降至35%),而恶意的异构peer将其推高至90%。(2)条件概率率对弱defender隐藏伤害,但辩论结束时的翻转率暴露了实际损害。(3)该模式在模型家族和基准上符号一致,幅度随defender-benchmark组合变化。(4)当已有恶意同族peer时,加入诚实的异构peer能降低有害修订率,并能降低初始正确答案的丢失率(翻转率从31%降至6%)。结论:LLM的异构性不仅是一个攻击面,在已有对手时也可以成为一种防御机制。该工作为多智能体系统中的鲁棒性设计提供了新视角。

💡 推荐理由: 揭示了异构LLM辩论中的攻击面与防御面,对部署多智能体系统的安全团队有重要参考,帮助理解如何在对抗环境下增强系统韧性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Kunlan Xiang, Haomiao Yang, Wenbo Jiang

本文研究了对比语言-图像预训练(CLIP)模型在不同下游部署接口(如特征提取、检索、重排序和选择)中后门暴露的一致性问题。现有CLIP后门攻击通常在单一原生任务上验证,但模型复用时,相同后门在不同接口下的暴露程度未知:可能保持、减弱或失效。作者提出DIFE(部署接口足迹评估)框架,通过指定每个接口的组件读出、触发通道、目标事件、参考条件和指标,实现跨接口的可比评估。DIFE还引入了有效足迹诊断,识别承载暴露的可复用CLIP组件或组件组合,并解释风险迁移。使用DIFE审计复现的CLIP后门发现:原生成功并非检查点级别的风险证书;暴露遵循组件足迹;文本侧中毒不会导致文本编码器控制;某些耦合攻击仍受机制限制。审计还揭示了现有CLIP后门中的关键缺口:文本编码器本身可成为对抗行为的可复用载体。为此,作者提出BadTextTower攻击,能够在文本条件检索、重排序和选择中产生强暴露,同时保持视觉复用几乎干净。实验证明了框架的有效性和攻击的威胁性。

💡 推荐理由: 揭示了CLIP模型后门在不同部署接口下的暴露差异,强调原生成功不代表整体安全,并指出文本编码器成为新风险载体,对模型复用场景的安全评估具有重要指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Seungwon Jeong, Jiwoo Jeong, Hyeonjin Kim, Yunseok Lee, Woojin Lee

随着大语言模型(LLM)的广泛部署,通过越狱攻击识别其脆弱性变得至关重要。基于优化的攻击(如Greedy Coordinate Gradient, GCG)通常将对抗性token插入到提示的末尾,但固定插入点可能不是最有效的。本文实证研究了提示中可插入token的候选位置(称为“槽位”),发现越狱的脆弱性与槽位选择高度相关。基于此,作者提出脆弱槽位评分(Vulnerable Slot Score, VSS)来量化位置脆弱性,并设计SlotGCG方法:先用VSS评估所有槽位,选出最脆弱的槽位进行插入,然后在这些槽位上运行针对性优化攻击。该方法是一种攻击无关的位置搜索机制,可插拔到任何基于优化的攻击中,仅增加200毫秒预处理时间。在多个模型上的实验表明,SlotGCG显著优于现有方法:与GCG相比,攻击成功率(ASR)提升14%,收敛更快,且对防御方法的鲁棒性更强(ASR比基线高42%)。实现已开源。该研究揭示了LLM在输入位置上的安全盲区,为防御者提供了新的视角。

💡 推荐理由: 揭示LLM安全中常被忽视的输入位置脆弱性,SlotGCG方法可提升越狱攻击效率,迫使防御者关注提示中不同位置的防御策略。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Vincent Koc, Patrick Erichsen, Jacob Tomlinson, Agustin Rivera, Michael Appel, Nir Paz

该论文研究了AI代理技能(Agent Skills)的安全信号问题。代理技能是一种可重用的指令、工具、脚本、引用和工作流,它们扩展了AI代理的能力,但其安全边界既不同于模型安全也不同于传统包恶意软件检测。论文构建了ClawHub Security Signals数据集,包含67,453个最新的公共OpenClaw技能版本,每个条目包含经过审查的SKILL.md内容和打包文件,以及来自三个扫描器家族的最终ClawScan注册表裁决和证据:VirusTotal(基于签名的恶意软件检测)、静态启发式分析和NVIDIA SkillSpector(语义代理风险评估)。作者不估计恶意技能的流行率,而是研究扫描器之间的不一致性。主要发现:三个扫描器很少标记相同的技能,任意两个扫描器在其组合阳性中重叠最多10.4%,仅0.69%的技能被所有三个扫描器标记,81.9%的被标记技能仅被单个扫描器识别。不一致性由攻击面决定:SkillSpector主要检测语义代理风险,在25,504个可疑行中标记了19,209个(75.3%),但在206个恶意行中仅标记了14个(6.8%);而恶意判定区域呈现相反分布:206个恶意行中150个(72.8%)被VirusTotal标记,这与捆绑代码的恶意软件证据一致。结果表明,代理技能安全需要分层治理,而非单扫描器允许/阻止决策。数据集作为经过处理的银标准数据集发布,标签是注册表的自动裁决,而非人工标注的真实结果,旨在支持社区进一步研究,例如针对技能安全分类的专用模型。

💡 推荐理由: 揭示了当前AI代理技能安全检测中多扫描器结果高度不一致的问题,强调了需要多层治理而非单一决策,对安全运营中评估代理技能风险有直接指导意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Haoyu Zhang, Mohammad Zandsalimy, Shanu Sushmita

该论文揭示了大型语言模型(LLM)安全机制在数学编码攻击下的严重漏洞。当前LLM的防御主要依赖语义模式匹配,作者提出了一系列将有害提示编码为连贯数学问题的方法,包括集合论、形式逻辑和量子力学等数学形式体系。实验在8个目标模型和两个基准测试上进行,平均攻击成功率高达46%至56%。关键发现是攻击有效性取决于是否将有害内容深度重构为真正的数学问题:仅使用数学格式的规则编码并不比未编码基线更有效。作者引入了一种新颖的形式逻辑编码,其攻击效率与集合论相当,表明该漏洞在不同数学形式体系间具有泛化性。额外实验显示,重复后处理(如多次LLM审核)难以阻止此类攻击,表明其鲁棒性。值得注意的是,较新模型(如GPT-5、GPT-5-Mini)表现出更强的鲁棒性,但仍有漏洞。该研究强调了当前安全框架在应对非语义层面的攻击时存在根本性缺陷,为开发基于数学结构推理的防御策略提供了方向。适合AI安全研究员、LLM开发者和安全工程师阅读。

💡 推荐理由: 该研究揭示了一种绕过LLM安全过滤的新型攻击向量,利用数学编码而非自然语言语义,对当前依赖语义模式匹配的防御机制构成重大挑战,促使安全社区重新评估和增强LLM的安全策略。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Hiroyuki Deguchi, Katsuki Chousa, Yusuke Sakai

该论文研究了多模态编码器(如CLIP)在跨模态检索和评估任务中存在的“中心点”(hubness)问题。在高维嵌入空间中,某些嵌入点(称为hub)会与大量不相关样本具有高相似度,这可能导致跨模态相似性计算的异常。作者提出了一种方法,能够识别出这样的hub嵌入以及对应的hub文本。具体地,他们通过分析嵌入空间的分布特性,找到那些在多个查询中频繁成为近邻的嵌入点,并据此生成或筛选出hub文本。实验在MSCOCO和nocaps的图像描述评估任务,以及MSCOCO和Flickr30k的图像到文本检索任务上进行。结果表明,存在单个hub文本,其与大量图像计算得到的相似度分数,不合理地达到甚至超过了人工撰写的参考描述。这揭示了当前跨模态编码器的脆弱性:攻击者可能利用此类hub文本操纵检索结果或评估指标。论文的主要贡献是系统性地展示了hubness对跨模态编码器的实际威胁,并提供了诊断方法。适合关注多模态AI安全、信息检索鲁棒性的研究人员阅读。

💡 推荐理由: 该研究揭示了多模态编码器的结构性漏洞,单个文本即可污染检索或评估结果,威胁内容审核、图像搜索等应用的可靠性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)