推荐 10.7
Conf: 50%
该论文提出一种轻量级的LLM指纹识别与验证方法,仅需单token输出分布即可区分不同模型。当前LLM服务常通过不透明的API聚合器、转售商或推理提供商提供,客户端无法技术验证所调用模型是否与宣称一致,且已有审计发现相当比例的商用端点与供应商参考权重存在偏差。现有识别技术需要长文本、token级对数概率、对抗性提示或模型所有者配合。本文证明远更弱的证据即可胜任:将LLM的行为指纹定义为对简单一词提示(如“在1到100之间随机说一个数字”)的答案经验分布,跨四种语言收集,每次查询仅消耗一个输出token。在大型商业聚合器OpenRouter上测量的165个模型中,发现:(i) 这些分布高度非均匀(中位细胞熵1.0比特)且模型特定:同一模型两半样本的距离比不同模型样本的距离小一个数量级;(ii) 指纹间的Jensen-Shannon散度可恢复模型谱系,将模型归入其文档家族,留一法准确率达59.5%(随机基线18.4%);(iii) 类生物特征验证协议在使用完整40细胞电池时等错误率为7.3%,使用八个探针细胞时低于11%——每次审计约一百个单token查询。此外还报告了生态系统异常,包括一个专有品牌旗舰端点在分布上与开源Qwen模型无法区分。协议、提示、原始数据和分析代码均已发布,便于复现和操作使用。
💡 推荐理由: 该方法为LLM服务提供商的身份验证提供了低成本、非侵入式的检测手段,可有效识别模型替换或欺诈行为,增强LLM供应链的安全性与透明度。
🎯 建议动作: 研究跟进,评估将指纹验证纳入LLM服务采购与监控流程的可行性
排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)