#sampling-based-attack

共收录 1 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Jesson Wang, Shawn Li, Wei Yang, Franck Dernoncourt, Ryan A. Rossi, Charith Peris, Yue Zhao

该论文关注大模型安全对齐在解码阶段的脆弱性: 操纵生成过程中的下一个 token 概率分布可以绕过对齐约束。但已有方法普遍依赖模型权重或数值化的 token 概率(logprobs), 因此对只返回采样文本的黑盒接口完全无效。作者尝试从采样输出反向重建概率分布, 然而有限次采样得到的估计既稀疏又噪声大, 而若在每一个生成步都重复采样, 查询开销又高到不可接受。论文的经验观察指出, 在成功越狱的轨迹上, 分布层面的显著变化只集中在少数位置上, 因此无需全程控制, 只需在关键位置介入即可, 这构成了全文的核心动机——选择性控制。基于此, 作者提出一个面向纯文本续写接口的越狱研究框架, 适用于允许重复采样并提供 assistant 前缀续写能力的端点, 由三个组件构成: 其一是基于采样的分布重建, 将采样结果与关于未观测动作的先验相结合, 得到可用的控制信号, 以缓解采样稀疏与噪声问题; 其二是风险门控的残差控制, 利用不断演化的回复前缀估计当前步的风险, 决定何时执行分布重建与修改, 从而把昂贵的采样预算集中到少数被选中的位置; 其三是投机式多 token 执行, 通过校验并接受无需干预的草稿前缀来摊销对目标端点的调用次数, 进一步降低总体查询成本。实验覆盖四个目标端点与三个基准, 与多个基线对比, 该框架在多数比较中取得最高平均分。论文属于攻击面研究, 用以揭示黑盒部署形态下的对齐风险, 适合红队与对齐研究者、LLM 安全评测与防护工程团队, 以及对外提供模型 API 的平台风控方阅读。

💡 推荐理由: 它说明仅隐藏权重与 logprobs、只暴露文本采样接口并不足以形成防护: 攻击面可从数值概率转移到采样行为本身。防守方需要把重复采样频率、关键位置查询突增、前缀续写等行为纳入滥用检测与成本限流。

🎯 建议动作: 纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)