#tokenization

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Yan Zhan, Yunze Song, Mengkai Hou, Wanting Zhang, Shaobo Liu, Zhijun Gao

该论文研究 LLM 智能体场景下的提示注入(prompt injection)问题,聚焦一个以往被忽视的细节:当注入指令被模型自身的聊天模板标记(如 <|im_start|> 这类保留控制标记)包裹时,攻击效果会显著增强。核心观察是,同一段伪造的模板标记文本在分词层面存在两种等价表示——既可以被编码为单个保留控制 token,也可以被编码为若干普通子词(subword)token 序列,两者解码后的文本完全相同。由于分词在服务端执行,选择哪一种表示由防御方而非攻击者决定,作者据此设计了受控对照实验,用来量化注入指令的"权威性"有多少来自保留 token 的学习表示。实验显示:在保持文本不变并控制额外 token 影响的前提下,把伪造标记改为子词编码,可使 InjecAgent 基准上的攻击成功率在四个开源权重模型家族中的三个下降 39 至 66 个百分点,且这一差距在 AgentDojo 的多轮智能体任务中同样成立。Qwen3-8B 上差距仅 8 个百分点,原因是在缺少保留 id 时模型仍能通过推理从文本识别伪造轮次;抑制其推理块后差距扩大到 50 个百分点。进一步分析表明,权威性集中在标记位置上的单一学习向量:标记处子词向量的均值无法复现该效果;在 Llama-3.1 上,使用最近邻普通 token 的向量即可恢复攻击;自适应攻击者在四个家族中的三个能够搜索到可用的非保留标记嵌入近邻。此外,在所有测试的基础模型与指令微调配对中,指令微调都强化了模型对保留标记的偏好。论文最后指出标准缓解措施的局限:将特殊 token 编码为普通子词的 tokenizer 选项只对配置中声明为特殊的 token 生效,因此在 67 个不同 tokenizer 配置中的 33 个(覆盖 Hugging Face 下载量前 400 聊天模型中的 255 个)仍保留工具协议 token 的保留表示,而智能体正是通过这些 token 读取不可信的工具输出,攻击差距在该通道上依旧存在。

💡 推荐理由: 提示注入防御长期停留在文本层面过滤,本文证明"字节相同的文本"因 token 表示不同而具有不同权威性:服务端分词本身就是一道可用的防线,同时也暴露出 tokenizer 配置中工具协议 token 未被声明为特殊 token 的普遍盲区。

🎯 建议动作: 纳入内部评估:审计部署模型的 tokenizer 配置,并在 InjecAgent / AgentDojo 类评测中复现保留 token 与子词编码的对照实验

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Zihan Wang, Rui Zhang, Xinyuan Qian, Qingchuan Zhao, Hongwei Li, Guowen Xu

该论文研究的是大模型推理阶段的一种新型资源消耗(成本放大)攻击面。背景是:随着 LLM 推理成本不断攀升,针对模型服务方的资源耗尽攻击日益受到关注。已有攻击通常通过触发超长或高度重复的输出来放大成本,但这依赖攻击者可控或可触发的请求,在正常流量占主导时既容易被检测,也难以形成部署级别的广泛影响。 本文指出了一个此前被忽视的 token 层攻击面:分词器到解码文本之间存在多对一的映射关系,即同一段可见文本可以由大量不同的 token 序列表示。标准 LLM 通常生成由其分词器诱导的“规范(canonical)”token 序列,但同一文本也可由明显更长的“非规范(non-canonical)”序列表示。这种表示上的灵活性意味着:只要让模型偏好这类非规范序列,就能在不显著增加可见响应长度的前提下,系统性地增加自回归解码步数,从而放大算力消耗。 作者进一步指出一个关键难点:直接最大化 token 碎片化会严重损害模型效用,产生明显低质量的回答,从而破坏攻击的隐蔽性。为此提出 FragToken 训练期框架,包含三项关键设计:(1)源模型自蒸馏(source-model self-distillation),用于在保持输出质量的前提下引导碎片化偏好;(2)容量感知的过滤与预算控制(capacity-aware filtering and budgeting),避免训练过程破坏模型能力;(3)BPE-Aligned Merging,将碎片化模式与 BPE 分词边界对齐,使碎片化在普通提示下也能自然触发。 实验在四个 LLM 与三个基准上进行,FragToken 取得三基准平均 token 膨胀率(TIR)1.99 至 2.46,同时模型效用仅有轻微下降。结论是:这是一种隐蔽的 LLM 供应链威胁——攻击者通过发布被改造的模型或微调产物,即可在正常请求量下抬高推理成本。

💡 推荐理由: 它把风险从“请求层”下沉到“权重/tokenizer 层”:被改造的模型在正常流量下即可成倍抬高推理开销,且对用户几乎不可见。凡依赖第三方模型权重或微调产物的团队,都应关注模型供应链完整性与 token 级成本异常审计。

🎯 建议动作: 研究跟进:将 token 膨胀率纳入内部模型准入与推理成本监控指标,并对现有第三方模型做一次 token/字符比基线比对。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Manit Baser, Aditya Nawal, Dinil Mon Divakaran, Mohan Gurusamy

该论文研究开放权重大模型时代的一个关键安全问题:模型编辑(model editing)与机器遗忘(machine unlearning)被广泛用于在不重新训练的前提下修改或删除模型中的特定知识,以支撑合规删除(如被遗忘权)和有害内容抑制。但作者指出,下游用户既然能掌控完整推理栈(包括分词器与推理引擎),发布方对“知识已被修改或删除”的保证就可能失效。现有针对这些技术安全性的评估存在两个明显短板:其一是通常需要拿到编辑前的原始模型,或依赖辅助分类器、影子模型来检测改动、重建原行为,现实攻击者往往不具备这些条件;其二是评估几乎都在输入的“规范分词”下进行,隐含地把分词当作无害的预处理步骤。论文指出这一假设构成了安全缺口:同一个输入字符串可以对应多种合法分词,而不同分词会引导模型走上不同的计算轨迹,攻击者因此能够绕过被局部修改的参数区域,把本应被抑制的信息重新取回。为此作者提出 Toketive——一种简单但有效的无参考(reference-free)攻击方法,仅依赖已发布的模型本身,不需要编辑前模型、训练数据、影子模型或辅助分类器,可同时完成两件事:检测某条知识是否已被修改,以及重建编辑前的原始响应。实验覆盖 5 个 LLM、6 个数据集和 6 种编辑/遗忘技术,结果显示 38.6% 的替代分词能够绕过修改并成功恢复编辑前响应;Toketive 检测被修改事实的 F1 达到 84.2%,相对最强基线提升 26.2%;重建编辑前响应的 top-5 准确率为 74.5%,比最佳基线高 21.7%。论文的核心结论是:局部参数修改不应被当作稳健的知识控制边界,除非在多种替代表示(分词)下做过对抗性评估;分词层面的侧信道应被视为模型发布后安全保证的一部分。

💡 推荐理由: 它揭示了模型编辑与机器遗忘的一个系统性盲区:分词层的合法多样性即可成为绕过知识删除的侧信道,且攻击者只需拿到发布模型即可实施。对依赖“删知识”来满足合规与安全承诺的团队,这意味着现有保证可能被高估。

🎯 建议动作: 研究跟进,并将分词变体一致性测试纳入内部模型编辑/遗忘评估流程

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: JJ Jia Jing Tan, Eva Meng, Josh Ng, Zack Zhang, September Liu, Teelet Wang, Ludwig Zhang, Seth Yan

该论文提出了可互换储备标准(Fungible Reserve Standard, FRS),这是一个确定性的代币设计框架,旨在解决真实世界资产(RWA)代币化过程中面临的持有成本(负利)问题。当前,实物资产如贵金属、存储商品等会产生持续的存储、保险和审计等结构性负利,而现有代币化模型通常由发行方在链下管理这些成本,缺乏透明性和与DeFi协议的可组合性。FRS通过引入一个随时间递减的资产-代币比率q(t),将持有成本以预定年化费率直接编码到链上逻辑中。该框架还包含供应调节机制,确保用户代币余额的完整性以及ERC-20标准的兼容性。与传统的每日费用比率累积不同,FRS旨在编码实际运营成本,提供纯粹的制度级会计透明度,同时保持与DeFi的兼容性。FRS设计是资产无关的,适用于任何具有正向可预测持有成本的实物资产。实验结果表明,该框架能够在无需代币重新基数调整的情况下,有效、透明地处理负利问题,从而保持了代币的可互换性和与DeFi生态系统的互操作性。

💡 推荐理由: 对安全从业者而言,该框架将资产管理成本透明化到链上,减少了发行方隐藏费用或操纵代币价值的风险,有助于审计和合规。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)