AI Agents May Always Fall for Prompt Injections
本文聚焦于AI代理中最关键的提示注入漏洞。作者首先指出现有的主流防御策略(数据-指令分离)存在根本性缺陷:它既无法检测通过上下文操纵(如误导性背景信息或角色扮演)发起的攻击,又会降低代理在正常场景下做出符合上下文的适当行为的能力。为了更系统
今日共收录 1079 条安全情报,包含 251 个 CVE,425 篇安全通告,以及 115 篇研究论文。
← 返回归档列表本文聚焦于AI代理中最关键的提示注入漏洞。作者首先指出现有的主流防御策略(数据-指令分离)存在根本性缺陷:它既无法检测通过上下文操纵(如误导性背景信息或角色扮演)发起的攻击,又会降低代理在正常场景下做出符合上下文的适当行为的能力。为了更系统
本文针对国家安全等高风险部署场景中AI系统可能出现的“失去控制”(Loss of Control, LoC)威胁,提出了一种基于任务特定基准的实证方法,用于优先缓解哪些能力和权限(affordances and permissions)。现
该论文提出了 RoboJailBench,一个针对具身 AI 系统中越狱攻击与防御的标准化基准。研究背景是现有评估依赖于临时数据集、有限指标,且只关注攻击成功率,忽略了安全与遵循良性指令能力之间的权衡。核心工作包括三个部分:首先,基于 IS
本文首次研究了统一自回归模型(UAM)中的后门攻击漏洞。UAM是一种Transformer模型,能够在单个自回归过程中同时生成文本和图像token。其共享参数和多模态词汇简化了训练流程并支持灵活的多模态生成,但也引入了新的安全风险。作者提出
本文首次系统性研究了大语言模型驱动的智能体(Agent)在正常环境错误下发生的“意外熔毁”(accidental meltdown)现象。作者指出,现有可靠性或安全基准测试并未捕捉此类行为。他们提出熔毁行为的分类学,包括未经授权的侦察、访问
本文研究在点态最大泄漏(PML)框架下的隐私保证,旨在满足两个要求:后处理鲁棒性以及能够上界信息泄漏超过给定阈值的失败概率。首先,作者检查了两种受(近似)差分隐私启发的候选定义,并证明两者都不能同时满足这两个要求。随后,他们引入了PML包络
本文提出了一种数据驱动的图像加密框架,通过SINDy-PI算法从观测数据中识别离散混沌映射,替代传统依赖预定义映射的方法。该方法从数据中学习完整的显式动力学,包括交叉项和高阶非线性,从而构建数据依赖的混沌映射。框架在Hénon映射、三维lo
联邦学习(FL)允许多个客户端在不共享原始数据的情况下协同训练机器学习模型。然而,传统基于平均的FL算法受限于非独立同分布(non-IID)数据,导致收敛速度慢和模型精度下降。现有的应对方法如加权聚合或丢弃异常梯度,本质上是被动的,浪费计算
比特币是市值最大的加密货币,但其共识算法要求每笔交易必须在链上确认,这严重限制了其可扩展性。为此,已有多种第二层(Layer-2)扩容方案被提出,例如闪电网络(Lightning Network),但这些方案部署复杂,用户需预先锁定资金并参
本文针对I2P匿名网络可能被恶意攻击者用于从企业网络窃取敏感数据的问题,提出了一种两阶段机器学习检测方法。I2P通过大蒜路由和分布式网络架构提供强匿名性,但同样可能被用于隐蔽的数据外泄。现有网络安全措施难以检测I2P流量,且已有研究仅聚焦于
本文提出了一种基于指数机制的差分隐私微调算法,用于在保护隐私的前提下将预训练模型适配到小型敏感数据集。核心创新在于构造了一个简单的效用函数,该函数结合了预训练模型的局部二次近似与新数据集的信息,从而使得指数机制可以以闭式形式从多元正态分布中
本文针对差分隐私随机梯度下降(DP-SGD)在隐私深度学习中因高方差更新导致效用下降的问题,提出了一种谱记忆感知的差分隐私随机梯度下降方法(SMA-DP-SGD)。该方法在DP-SGD基础上增加了一个仅使用先前私有化噪声发布的分数记忆分支。
该论文提出了一种基于潜在几何的结构监测方法,用于匿名网络中的异常检测。传统异常检测依赖于预定义阈值的信号突变,但无法捕捉突变前的结构性压力。作者将大规模行为群体视为几何能量景观,通过测量其变形来检测异常,核心理念是结构先于几何:群体的结构组
本文针对联邦学习中数据删除请求的合规需求(如GDPR的“被遗忘权”),提出了一种高效且精确的机器学习遗忘方法HF-KCU。联邦学习系统中,客户端可能要求删除其贡献的数据,传统做法是重新训练模型,但计算开销巨大。HF-KCU通过Krylov子
该论文针对网络语音流隐写分析中的泛化难题展开研究。当前主流的隐写分析方法多基于特定场景下的数据分布设计,面对非同源数据分布时性能显著下降。作者通过Hessian分析发现,现有模型的损失景观中存在大量鞍点和尖锐局部极小值,导致模型对数据分布偏
本文提出了一种名为 reconCTI 的主动式网络威胁情报工具,旨在帮助安全从业者和个人提前识别潜在风险。该工具基于 Python 开发,运行于 Linux 系统,是一个命令行界面工具。其核心功能是通过用户指定的关键词,同时在明网和暗网平台
本文提出将集合塑形理论(Set Shaping Theory, SST)作为一种可逆的载荷整形层,用于最不显著位(LSB)图像隐写术。该方法并非替代现有隐写嵌入方案,而是作为预处理阶段,使得现有隐写方法更易应用且统计扰动更低。SST变换通过
本文针对文本到图像扩散模型在多步开源复用和下游微调场景下面临的多概念后门注入问题展开研究。在开源生态中,一个预训练模型可能被多个独立方依次微调并重新分发,导致多个概念特定的触发-目标关联累积在同一模型中。这些关联共存时,共享表示空间中的语义
该论文提出了一种针对视觉Transformer(ViT)的新型后门攻击方法VIPER,揭示了动态提示架构中存在的一类战略性后门威胁。现有基于全参数微调的ViT后门攻击计算成本高且导致性能下降,因此对手转向参数高效微调(PEFT)范式,其中基
本文针对瑞士政治过程中公民参与签名收集(即电子收集)的需求,提出了一个既保证隐私又实现可验证性的安全协议。研究首先基于瑞士已有的电子投票系统架构,推导出适用于电子收集的现实场景设定。该设定考虑了多个并行收集活动同时进行的情况,因此参与隐私的