#code-language-models

共收录 1 条相关安全情报。

← 返回所有主题
推荐 5.5
Conf: 50%
👥 作者: Matthieu Meeus, Anil Ramakrishna, Matthew Grange, Zheng Xu, Luca Melis

该研究探讨了代码语言模型中的功能性记忆(functional memorization)现象,即模型在生成代码时可能会复制训练数据中的功能逻辑,即使文本上不相似。现有工作主要基于文本重叠的审计指标来检测训练数据泄露,但代码具有功能等价而文本不同的特点。作者为Olmo-3-32B模型构建了一个反事实实验设置:比较一个中间训练版本(已暴露于目标代码)和一个预训练参考版本(未暴露)。向两个模型提供Python函数签名,并分别评估生成代码的文本相似性和功能相似性(使用LLM作为评判和基于执行的方法)。实验结果显示明确的功能性记忆证据,表明需要超越文本重叠的审计指标。该工作对代码生成模型的安全审计和数据隐私保护具有重要意义。

💡 推荐理由: 揭示了代码语言模型可能通过功能等价的方式泄露训练数据,现有文本重叠指标无法检测,对模型隐私审计提出新挑战。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)