#training-data

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Arman Nik Khah

这篇论文审视大语言模型成员推断(membership inference)证据的可靠性。传统做法是:若模型对某句子预测代价异常低(困惑度低),就推断它出现在训练数据中;但几乎所有已发表的此类检验都必须猜测哪些句子是训练集成员、哪些不是,这种猜测本身就是偏差来源。作者利用 OLMo-2 与 Pythia 两个开源模型族公开的预训练语料,以及覆盖这些语料的公开索引,直接取得任意句子出现的精确重复次数,从而消除猜测。基于精确计数,论文从两侧'夹击'回答三个问题。其一,在普通文本实际具有的重复水平下,从 1B 到 13B 的五个模型对自身暴露最多只留下极微弱痕迹:作者让同一句子在两个模型上读取,在构造上抵消流畅度与文本质量影响,测得秩相关约 -0.08(-1 为完全相关,0 为无关)。其二,只有当重复次数超过约一千次时痕迹才变强,而两个语料库对'哪些句子被重复'判断一致,因为这些句子属于名人名言式的知名文本,暴露程度因此无法与'知名度'区分。其三,作者展示表观成员信号如何被制造:把成员句子改一个词来构造非成员是常见做法,模型确实偏好原句,但该差距与原文出现 1 次还是 100 次无关,说明模型奖励的是作者用词而非记忆;而在重复超过一千次的 12 个可测句子上,差距随模型规模增大,恰在相同临界点。此外,把对照组换成语体(register)不同的句子,可把检测器 AUC 从 0.83 提升到 0.94(0.5 为随机,1.0 为完美区分)。作者开源了句子集、重复计数与代码。结论是:成员证据只在被混淆之处才可检测,现有成员推断结论需谨慎解读。

💡 推荐理由: 成员推断常被当作'训练数据泄露'的证据,影响隐私评估与合规判断。本文表明自然重复水平下痕迹几乎为零,强信号只出现在与'知名文本'混淆的极端重复样本上,且常用对照构造会放大伪信号。安全团队在采信或引用 MIA 结论、评估模型是否记忆敏感数据时应重估其证据强度。

🎯 建议动作: 研究跟进:纳入内部 LLM 隐私/数据治理评估方法学,复核现有成员推断结论的证据强度

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Amine Lbath, Manan Suri, Aurelien Delaitre, Vadim Okun, Massih-Reza Amini, Ram D. Sriram, Dinesh Manocha

本文提出 CyberForge 框架,用于合成可执行的、仓库级别(repository-level)的网络安全训练数据,以解决前沿 LLM 智能体在真实软件漏洞发现与修补方面能力受限的问题。当前攻防不对称严重:攻击者只需找到一个可利用弱点即可得手,而防御者必须在快速增长的代码库中持续识别并修补所有漏洞。防御型智能体有望缩小这一差距,但安全训练数据稀缺且难以复现构建与执行环境。CyberForge 通过向真实 C/C++ 项目中注入漏洞来生成数据,并动态验证每个实例:注入后的构建必须通过项目自带单元测试,同时生成的概念验证(PoV)必须能在注入构建上触发,而不能在干净构建上触发,从而保证合成漏洞的质量与真实性。与依赖历史 CVE 数据的增强技术不同,CyberForge 不受已知漏洞数量限制,因此可规模扩展。作者构建的语料库包含 1034 个经校验的漏洞,覆盖 80 个项目、63 个弱点类别,其编辑局部性(edit locality)与真实 CVE 补丁在真实噪声底线下相似。利用该语料库上收集的轨迹进行微调,在 SEC-bench 补丁修复任务上获得 +3.3 至 +14.7 分的提升,覆盖三个模型规模与两个教师模型共六种配置,其中 31B 学生模型达到其教师(GPT-5.4-mini)72.7% vs 74.0% 的水平。这些在分布外(OOD)语料库 PatchEval 上也能泛化,该语料库包含其他编程语言,所有配置均提升,31B 学生甚至超过其教师。该工作为防御性安全智能体的训练提供了可扩展的高质量数据来源,有望推动自动漏洞修复与代码审计的发展。

💡 推荐理由: 该研究提供了一种可扩展生成高质量安全训练数据的方案,有助于训练防御性 AI 智能体,缓解攻防不对称,提升自动漏洞发现与修复能力。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)