#model-transparency

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Xiaoyu Luo, Tao Ren, Wenrui Yu, Xiao Li, Qiongxiu Li, Johannes Bjerva

【研究背景】前沿语言模型近年的能力跃升常被归因于推理能力的提升,但在闭源系统中,原始思维链(CoT)轨迹被隐藏,外界无法验证这一说法,也无法审计模型真实的推理过程。【核心问题】如何在不获取模型内部权重或私有日志的前提下,把闭源模型隐藏的中间推理外化出来,并判断这些外化轨迹究竟是真实推理还是事后合理化(post-hoc rationalization)。【方法】作者利用标准 API 自带的工具注册能力,注册一个简单的自定义工具,从而诱导前沿模型将中间推理步骤输出到可观测通道。为验证轨迹的有效性,先在开源模型上与原生 CoT 做对照评估,再扩展到包括 GPT-6 Astra 在内的闭源前沿模型。【主要结果】在竞赛数学、科学问答与代码生成任务上,被提取的推理轨迹表现与原生推理相当,并显著优于完全不推理的基线,说明这些外化轨迹承载了功能性推理信息,而非单纯的解释性文本。随后作者从 token 效率、推理步骤类型、诱导生成的推理树三个维度刻画前沿模型的推理组织方式,发现不同模型在如何外化、压缩和编排推理上存在系统性差异;其中 Astra 呈现 token 高效的定向推理:更早锁定正确轨迹,把基础性步骤放到内部完成,只把关键推理外化出来。【贡献与定位】论文提出了一套可复用的推理外化与行为刻画方法,给出了超越基准分数的模型行为学视角,对闭源模型的推理透明度、可信度与评测方法论都有直接价值。适合模型评测、可解释性、AI 安全治理以及 LLM 行为研究者阅读。

💡 推荐理由: 闭源模型推理不可见是安全审计与风险归因的长期黑箱。该工作表明用常规 API 工具调用即可诱导出可分析的推理轨迹,为模型行为监控、第三方模型准入评估和『隐藏推理即安全边界』这一假设提供了实证挑战。

🎯 建议动作: 研究跟进:纳入内部模型评测与第三方模型准入评估的方法调研清单

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)