该论文研究的是大模型推理阶段的一种新型资源消耗(成本放大)攻击面。背景是:随着 LLM 推理成本不断攀升,针对模型服务方的资源耗尽攻击日益受到关注。已有攻击通常通过触发超长或高度重复的输出来放大成本,但这依赖攻击者可控或可触发的请求,在正常流量占主导时既容易被检测,也难以形成部署级别的广泛影响。 本文指出了一个此前被忽视的 token 层攻击面:分词器到解码文本之间存在多对一的映射关系,即同一段可见文本可以由大量不同的 token 序列表示。标准 LLM 通常生成由其分词器诱导的“规范(canonical)”token 序列,但同一文本也可由明显更长的“非规范(non-canonical)”序列表示。这种表示上的灵活性意味着:只要让模型偏好这类非规范序列,就能在不显著增加可见响应长度的前提下,系统性地增加自回归解码步数,从而放大算力消耗。 作者进一步指出一个关键难点:直接最大化 token 碎片化会严重损害模型效用,产生明显低质量的回答,从而破坏攻击的隐蔽性。为此提出 FragToken 训练期框架,包含三项关键设计:(1)源模型自蒸馏(source-model self-distillation),用于在保持输出质量的前提下引导碎片化偏好;(2)容量感知的过滤与预算控制(capacity-aware filtering and budgeting),避免训练过程破坏模型能力;(3)BPE-Aligned Merging,将碎片化模式与 BPE 分词边界对齐,使碎片化在普通提示下也能自然触发。 实验在四个 LLM 与三个基准上进行,FragToken 取得三基准平均 token 膨胀率(TIR)1.99 至 2.46,同时模型效用仅有轻微下降。结论是:这是一种隐蔽的 LLM 供应链威胁——攻击者通过发布被改造的模型或微调产物,即可在正常请求量下抬高推理成本。
💡 推荐理由: 它把风险从“请求层”下沉到“权重/tokenizer 层”:被改造的模型在正常流量下即可成倍抬高推理开销,且对用户几乎不可见。凡依赖第三方模型权重或微调产物的团队,都应关注模型供应链完整性与 token 级成本异常审计。
🎯 建议动作: 研究跟进:将 token 膨胀率纳入内部模型准入与推理成本监控指标,并对现有第三方模型做一次 token/字符比基线比对。