Adaptive Adversaries: A Multi-Turn, Multi-LLM Benchmark for LLM Agent Security
该论文提出一个针对LLM代理(agent)安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池,在单轮或多轮场景下评估防御者,但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此,作者构建了一个包含21个场景的基准,每个场景
共收录 1665 条相关情报。
← 返回所有主题该论文提出一个针对LLM代理(agent)安全性的多轮自适应对抗攻击基准。现有安全评估通常使用固定的攻击池,在单轮或多轮场景下评估防御者,但忽略了攻击者能够根据防御者响应动态调整策略的能力。为此,作者构建了一个包含21个场景的基准,每个场景
本文首次系统性地研究了自托管AI智能体面临的一类新威胁——自状态攻击(self-state attacks)。自托管AI智能体为了执行任务,需要读写自身的内存和配置文件(即自状态),而这些操作通过合法的操作系统系统调用完成。攻击者可以通过操
本文提出了一种面向无人机(UAV)控制的实时自托管计算机使用代理(RT-SHCUA)。现有的自托管计算机使用代理(SHCUA)设计用于交互式主机端工具使用,允许延迟的代理迭代,但直接应用于无人机控制存在结构不匹配:无人机控制涉及连续变化的物
大型语言模型(LLM)在学术写作中越来越普遍,但其生成的文献综述常包含虚构引用(幻觉引用)。GPTZero 发现 NeurIPS 2025 被接受的论文中有 53 篇存在此类问题。现有的基于规则和 LLM 的验证器缺乏统一的基准测试和详细的
本文提出 JailMeter,一个基于证据的越狱攻击评估框架,旨在解决当前大语言模型越狱攻击评估中标准不一致、方法不统一导致攻击成功率估计不可靠的问题。受信息瓶颈理论启发,JailMeter 采用双反馈优化机制,首先过滤模型响应中的越狱噪声
本研究探讨了在视觉-语言-动作(VLA)模型中添加推理步骤对模型鲁棒性的影响。直觉上,先推理后行动的策略应能更好地吸收输入扰动,但本文通过实验验证了这一假设。作者选取了三种代表不同推理水平的模型:无推理、文本链式推理(CoT)以及潜在迭代循
该论文提出了一种端到端的解释性钱骡账户检测管道,旨在解决金融欺诈中钱骡账户难以大规模检测的问题。管道分为三个阶段:首先,使用LightGBM分类器在280个工程特征上训练,这些特征涵盖交易模式、账户人口统计、网络拓扑和时间行为;其次,引入T
本文研究了同态加密(HE)环境下神经网络推理的结构化剪枝对模型可靠性的影响,并提出了多项式敏感度感知剪枝方法(PSAP)。背景:同态加密允许对加密数据进行计算,但计算开销大,结构化剪枝是降低开销的关键技术,然而剪枝可能引入可靠性问题,如对位
本文报告在IBM量子硬件(ibm_kingston, Heron代)上真实执行了未经编译的、忠实于教科书的对称密码结构量子密码分析。研究者使用Simon算法恢复了Even-Mansour密码的隐藏周期,安全参数N达到10,远超前人实物演示的
本文研究了链下数据存储中的加密审计调度问题,将其建模为部分可观测约束马尔可夫决策过程(CMDP)。存储节点的隐藏类型和腐败状态构成部分可观测的POMDP,同时缺失率上限ρ施加了显式安全约束。作者提出DRQN-CMDP方法,采用深度递归Q网络
本文针对文本到视频(T2V)生成模型的越狱攻击问题展开研究。现有越狱方法多从文本到图像攻击迁移而来,但未能充分利用视频生成固有的时间一致性特性,且需要大量视频查询优化,不适用于实际黑盒场景,其对抗性提示搜索也依赖启发式局部信号,缺乏结构化探
本文研究端到端语音语言模型中语音令牌(speech tokens)泄露用户声纹的风险。传统级联架构(ASR-LLM-TTS)将语音转文本再合成,而端到端模型直接使用离散语音令牌表示语音,虽降低了延迟并提升了表现力,但这些令牌可能保留说话人的
本研究通过半结构化访谈的方式,深入调查了22名软件开发者、架构师和AI从业者在集成大语言模型(LLM)作为AI组件时的决策过程和安全考量。研究发现,从业者在选择AI模型时主要受功能标准驱动,如性能、准确率、成本和特定功能(例如工具调用或多模
该论文提出了一种新的群体公平性度量方法——Privacy-Cost Equity Ratio (PCER),用于评估差分隐私(DP)机器学习系统中的群体公平性。传统的公平性度量主要关注模型输出(如准确率)在不同群体间的差异,但忽略了隐私成本
本文针对AI系统在安全、金融、医疗等领域广泛部署后所面临的模型逃逸攻击问题,指出传统基于攻击者知识(白盒、灰盒、黑盒)的分类方法忽视了不同部署接口实际暴露信息信号(如仅输出最终决策、置信分数、中间表示或完整参数)对攻击能力的影响。作者提出了
该论文研究了利用开源权重的大语言模型(LLMs)从网联与自动驾驶汽车(CAV)相关的通用漏洞披露(CVE)中生成结构化威胁信息表达(STIX)的问题。CAV依赖互联的软件和硬件组件,漏洞通常以纯文本形式记录在CVE数据库中,但安全从业者需要
本文针对黑盒安全评分平台中修复措施影响预测的可靠性问题展开研究。安全评分平台通过聚合外部可观测的网络暴露数据生成组织安全评分,旨在帮助组织优先处理修复工作。然而,平台若频繁暴露精确评分响应,会泄露隐藏评分引擎的信息。为此,作者提出了一种基于
本文提出了一种名为 FLINT 的新型黑盒指纹识别框架,旨在通过 5G 物理层(PHY)侧信道推断联邦学习(FL)模型的架构家族(如 CNN、RNN、Transformer)。传统针对 FL 的侧信道攻击通常假设攻击者具有网络层数据包级别的
该论文研究多智能体系统中AI代理之间的管理关系,特别关注当子代理拒绝执行任务时,管理者代理可能采取的升级行为(如强制、欺骗等)。作者提出了“管理强制基准”(Manager Coercion Benchmark),这是一个用于衡量AI管理者在
本文针对当前安全agent评估仅关注峰值成功率(如漏洞发现、利用开发、渗透测试、CTF完成等),忽略操作实际成本的问题,提出一种成本感知的评估框架。作者指出,在实际安全运营中,每一次推理步骤、工具调用、遥测查询和情报丰富请求都会消耗预算。因