#lora

共收录 9 条相关安全情报。

← 返回所有主题
👥 作者: Jianhong Li, Jiahao Chen, Yuwen Pu, Chunyi Zhou, Oubo Ma, Zhou Feng, Hangtao Zhang, Jichao Bi, Chunqiang Hu

该论文研究的是大模型微调过程中的隐私风险复发问题。已有研究表明,在下游微调之后,模型可能重新暴露出经过对齐或遗忘处理后已无法通过直接查询获取的私有信息(即“微调恢复攻击”)。然而,此前的方法大多依赖一个不现实的假设:攻击者能够获得与原始训练数据同分布的真实私有标注数据作为监督信号。本文质疑这一前提,并提出:即使没有此类真实私有监督,恢复依然是可行的。作者提出的 ReGap 是一种“无数据”(data-free)的恢复方法,它只利用任务结构本身来构造监督信号:由 LLM 自行生成候选答案,再依据答案 token 的似然度对候选进行筛选,最后通过低秩适配(LoRA)方式对目标模型进行更新,从而把此前习得但被压制的私有关联重新“唤醒”。ReGap 既不需要目标答案,也不需要任何真实的私有辅助监督,因此大幅降低了攻击的现实门槛。实验覆盖六种模型(GPT-2、OPT、Qwen3 系列),结果显示:相对于微调后的目标模型,ReGap 将目标关联的恢复率提高了 6 到 21 个百分点;即便适配过程中使用的身份与所有被记忆和用于评估的身份完全不相交,且生成或筛选出的监督中不含任何精确的目标答案,恢复效果依然显著。作者进一步做了对照实验:同一个训练出的适配器将某个此前已被暴露过的检查点上的恢复率从 42% 提升到 63%,但在一个从未接触过这些目标、条件匹配的检查点上却不产生任何增益。这一对比说明,单纯的低秩适配不足以解释所观察到的恢复现象,模型此前是否接触过目标内容会强烈影响其被微调后的可恢复性。论文的结论是:常规的模型定制化流程本身就可能导致潜在隐私风险的再度激活,学术界与工业界应给予紧迫关注。

💡 推荐理由: 它把“微调会重新暴露被遗忘的隐私数据”这一威胁的门槛从“需要真实私有训练数据”降到“只需任务结构和模型自生成候选”,使常规下游定制流程本身成为隐私复发触发器。凡是对外提供微调/适配服务的团队都应重新评估其风险模型。

🎯 建议动作: 研究跟进,并纳入内部模型发布与微调服务的隐私评估清单

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jianwei Li, Jung-Eun Kim

该论文研究的是参数高效微调(PEFT)场景下的后门防御问题。随着大语言模型(LLM)与 LoRA 等轻量微调方法的广泛采用,攻击者可以通过污染微调数据或发布被植入后门的适配器(adapter),使模型在特定触发条件下产生恶意输出,而基座模型本身看起来完全正常,这使得后门更难被察觉。现有后门净化(backdoor purification)方法普遍依赖至少一项较强的假设:例如事先知道触发器的形式、能够访问干净的参考数据、或需要对模型进行激进的重新训练;论文指出这些约束在真实场景中往往无法满足,且这些方法通常缺乏系统、全面的评估,因此实际可用性受限。 该工作的核心主张是在去除上述全部假设的前提下净化 LoRA 微调后的 LLM,甚至不需要对可疑参数做事后重训练。其目标是在大幅降低攻击成功率(ASR)的同时,保留两项能力:(i) 基座模型的通用能力,(ii) 适配器在下游任务中学到的新技能。方法上,作者通过精心设计的数据筛选(data curation)与特征近似(feature approximation)来提取高保真的“后门方向”,随后在网络每一层或每个注意力头上,分别在输入通道与输出通道中构造与后门方向正交的零空间(null space),并将 LoRA 更新量投影到这些零空间上,从而在不破坏正常功能的前提下削弱后门通路。 实验方面,作者采用一系列消融研究,从文本分类场景下的单层结构逐步扩展到生成任务中的全参数 LLM,以验证方法的可扩展性。实证结果显示,该零空间投影方法可将攻击成功率从接近 100% 降至 10% 以下,同时保持基座模型的良性表现和适配器在下游任务上的学习能力。论文适合关注 LLM 供应链安全、模型微调安全、后门防御与模型净化的研究者与安全工程师阅读;由于目前仅有摘要,具体的数据集、触发器类型、评测基准与计算开销等细节尚不明确。

💡 推荐理由: LoRA 适配器在开源社区大量分发,是 LLM 供应链中低门槛的投毒载体。该工作提出无需触发知识、无需干净参考数据、无需重训练的零空间投影净化思路,若能复现,可显著降低企业采用第三方适配器时的后门风险。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Yi Sun, Xinhao Zhong, Zhiqi Zhang, Yimin Zhou, Junhao Li, Yuxia Qiao

该论文关注文本到图像(T2I)生成模型中的概念擦除安全技术。背景是 T2I 生成能力增强,但可能生成有害或不良内容。现有概念擦除方法多采用静态权重范式:训练一个冻结的适配器,难以适应多样化的提示词变化,并且在扩展到多个概念时会出现参数干扰。作者提出 HyperErase,一种基于超网络驱动、以提示词为条件的参数合成框架。其核心思路是把概念擦除重新定义为提示词条件下的参数摊销,训练超网络将文本描述映射为特定提示词的 LoRA 更新,从而不需要逐提示词梯度优化,也无需手动合并 LoRA。为提升合成适配器的稳定性与精度,论文设计解耦校正策略:将 LoRA 令牌解耦为模式子空间和尺度子空间,对尺度应用平方根变换以抑制乘性过度缩放,并利用教师模型导出的规范先验进行推理时校正。实验覆盖主要概念类别,证明 HyperErase 在擦除效果、图像质量和语义对齐之间取得更优权衡,性能可与金标准单概念基线相当。生成的模型可在单次前向传播中为每个输入提示词变体提供专门 LoRA,且推理阶段无需梯度更新。适合关注生成式 AI 安全、模型对齐、内容治理与红队防御的研究者和工程师阅读。

💡 推荐理由: 为大模型生成内容治理提供新思路:以超网络按提示词动态合成擦除适配器,缓解多概念擦除中的参数干扰和泛化不足,对 T2I 安全发布和合规过滤有直接参考价值。

🎯 建议动作: 研究跟进并纳入内部评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Siyuan Pang, Yepeng Yao, Zhengwei Jiang, Zijing Fan, Baoxu Liu

该论文针对 Node.js/NPM 生态中恶意包泛滥、软件供应链攻击频发的问题,提出了一套名为 DistillGuard 的轻量级恶意 NPM 包检测框架。作者指出,恶意代码主要在包安装、导入(import)和运行时三个阶段被触发,而现有防御手段各有短板:传统静态分析无法理解代码语义,容易漏报语义化混淆或逻辑型后门;基于机器学习的方法依赖人工特征工程,面对攻击者不断演化的手法会出现概念漂移,模型效果随时间衰减;直接调用大语言模型(LLM)的方案虽然语义理解能力强,但存在调用成本高、需将源码/内部数据外传带来的数据安全与合规风险,且实际检测性能并不理想。 DistillGuard 的核心思路是把静态图语义分析与 LLM 知识蒸馏结合起来。流程上分为三步:第一,通过三个静态分析模块从包中提取多粒度特征(如代码结构、依赖关系、调用图等层面的信息),为后续判断提供语义化输入;第二,借助在线 LLM 对样本进行安全知识蒸馏,生成高质量的安全知识与结构化标签,相当于用大模型充当“标注与知识提炼教师”;第三,使用 LoRA 对开源 Qwen3-8B 模型进行高效微调,使蒸馏得到的能力落到本地可离线部署的小体量模型上,从而规避在线调用成本与数据外泄风险。 实验结果显示,DistillGuard 达到 95.3% 的准确率、99.4% 的精确率和 93.8% 的 F1 值,优于当前最先进的工具,相较基线在 F1 上提升 11.1 至 30.0 个百分点。论文的实证研究还刻画了恶意攻击所处的不同阶段以及恶意行为的分布情况,并归纳出八类典型的 API 攻击链,为 NPM 供应链安全防御提供了可操作的参考。适合从事软件供应链安全、包仓库治理、恶意代码检测与 LLM 安全应用的读者阅读。

💡 推荐理由: NPM 是绝大多数现代应用构建链路的必经环节,恶意包可在安装、导入、运行时直接落地执行。该工作给出了一条“本地可离线、低成本、高精度”的检测路线:用 LLM 蒸馏知识、用 LoRA 微调小模型私有化部署,既规避了源码外传的合规风险,也缓解了特征工程的概念漂移问题,对构建企业内部包准入与 CI 卡点具有直接借鉴价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jin Wei, Rundong Li, Ruihao Yang, Yikai Wang, Xiaoyuan Duan, Jianxiong Wu, Yanbo Wang, Chang Xu, Lingyun Zhang, Zhuyang Yu, Ping Chen, Jun Dai, Xiaoyan Sun

该论文研究文本到图像扩散模型(如 Stable Diffusion)中多 LoRA 适配器组合加载时的安全问题。背景是:用户常把多个低秩适配(LoRA)叠加使用,以实现不同主体、风格与视觉属性的个性化定制,而当前的安全审查通常只逐个检查单个适配器是否安全,这种做法被证明不足以判断组合后的行为。作者识别并刻画了一类“成对条件触发”攻击:两个单独使用时功能正常、外表无害的适配器,在与一个特定匹配的伙伴适配器同时加载时,会改写图像生成结果,且触发条件就是伙伴适配器的身份,而非提示词或输入图像本身。为验证该风险,作者提出 LoRango 框架,由互补的 Signature 适配器与 Payload 适配器构成。Signature 负责把与配对相关的编码写入中间载体表示;Payload 则依赖“代码选择性响应”以及相互对立的信号分支与参考分支来实现条件性激活。在单独加载或与不匹配适配器配对时,两分支近似抵消,因此行为保持正常;只有当匹配的“代码读取”对齐发生时,抵消在原生 GEGLU 块内被打破,被预置的动作才被释放。两个适配器都被导出为普通静态 LoRA 文件,兼容标准加载器,无需提示词触发,也无需修改基础推理管线。实验显示:匹配配对下攻击成功率在 SD v1.5 上达 97.9%,在 SDXL 上达 98.7%;而单独加载这些植入适配器时仅为 2.8%–4.6%。论文还评估了配对选择性、单适配器保真度、部署环境变化下的鲁棒性,以及在不同去噪器架构上的可迁移性。结论是:仅逐个审查适配器无法评估多 LoRA 个性化组合的安全性,必须对适配器组合进行审计。适合从事生成式模型安全、模型供应链与平台审核的研究者与工程师阅读。

💡 推荐理由: 它表明模型供应链安全存在新的盲区:逐个扫描单个 LoRA 文件不足以发现风险,两个看似无害的适配器组合后可被条件性激活并改写生成内容,现有平台的热门适配器审核流程可能被绕过,需转向组合级审计。

🎯 建议动作: 研究跟进,并纳入内部多适配器/多组件组合安全评估流程

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Md Khalid Syfullah, Alvi Ataur Khalil

随着社会与生活方式复杂度上升,全球心理健康困扰的患病率持续增长。教育机构、职场与诊所等组织积累了海量的心理健康问卷调查数据,若能进行跨机构的协作分析,就有望训练出更具泛化能力、可有效识别心理困扰的预测模型。然而这一目标面临两大障碍:一是隐私约束,原始问卷回答通常包含高度敏感的个人信息,不允许跨机构直接共享或集中汇聚;二是调查模式异构,不同机构使用的问题措辞、评分量表与数据格式各不相同,无法直接拼接成统一数据集训练。针对这一问题,作者提出一种「模式感知的分割学习(schema-aware split learning, SL)」框架,核心思路是借助大语言模型(LLM)作为共享语义编码器,把异构的问卷模式统一到一个共同的语义空间。具体做法是:将每一条调查记录序列化为一段自然语言描述,从而把不同机构的问卷模式转换成统一格式,消除字段与量表差异带来的不一致。随后,作者使用低秩适配(LoRA)对 LLM 进行微调,使其胜任心理困扰评估任务,并将微调后的模型按层切分到客户端与服务器两侧。客户端只在本地保留原始问卷回答,并且仅运行轻量级前端模块,因此原始记录始终不会离开数据采集机构;计算资源密集的模型主干部署在服务器端执行,大幅降低了客户端的算力与内存需求。实验部分使用 LLaMA-3.2-3B-Instruct 作为基础模型,在仅有 2000 条训练样本的条件下,框架平均 ANLS 达到 0.708;在九种对比设置中有八种超过联邦学习(FL)基线;单客户端的计算开销降低了三个数量级;同时模型还能泛化到训练中未出现过的数据集。总体而言,该工作展示了一条在异构心理健康调查数据上实现准确、隐私保护且资源高效的协作学习路径,为跨机构敏感数据建模提供了新的工程化思路。

💡 推荐理由: 对蓝队与安全工程师而言,该工作把 LLM 引入分割学习,用于跨机构敏感数据协作。分割学习本身存在中间激活/梯度泄露风险,叠加 LLM 与 LoRA 适配器分发后,隐私边界与攻击面随之变化,值得在隐私合规与模型供应链安全评估中跟进。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Beomjin Ahn, Jungmin Kwon, Chanyong Jung, Jaewook Chung

该论文提出了一种名为LoREnc的训练无关框架,用于保护基础模型(FM)和低秩适配器(LoRA adapter)免受知识产权泄露和模型恢复攻击。现有防御方法通常需要重新训练或访问原始数据集,实用性不足。LoREnc通过频谱截断与补偿技术,在不需要重新训练的情况下,抑制FM权重中的主导低秩分量,并在授权适配器中补偿缺失信息;同时采用正交重参数化,模糊受保护适配器的结构指纹。未经授权的用户使用受保护模型时会产生结构坍塌的输出,而授权用户可恢复精确性能。实验表明,LoREnc能够有效防御模型恢复攻击,且计算开销低于1%。该方法适用于边缘设备上的生成式AI场景,在不明显增加推理成本的前提下提供强保护。

💡 推荐理由: 针对FM和LoRA适配器的模型提取攻击日益严重,而现有防御需重训练或原始数据,LoREnc首次实现了训练无关的低开销保护方案,适合资源受限的端侧部署。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Marco Arazzi, Vignesh Kumar Kembu, Antonino Nocera, Stjepan Picek, Saraga Sakthidharan

随着开源大语言模型(LLM)的普及,通过公开分发低秩适应(LoRA)模块来定制模型能力已成为常见做法。然而,集成第三方 LoRA 模块会导致基础模型的安全对齐被灾难性遗忘,即模型失去了原有的安全护栏。传统方法通过安全数据微调来恢复对齐,但这会严重破坏适配器原本提供的专业领域知识。为解决这一零资源挑战,本文提出了 Neural Weight Translation (NeWTral) 框架。NeWTral 是一个预训练的非线性翻译模块,它直接在不安全的、特定领域的适配器参数空间与安全对齐流形之间建立映射,同时严格保持适配器的核心专业知识。该框架采用自适应混合专家(MoE)路由策略,融合高保真翻译专家和激进对齐专家,在参数空间中完成翻译。实验在四个架构家族(Llama、Mistral、Qwen、Gemma)上、规模达 72B 参数、涵盖八个科学和专业领域进行。结果表明,MoE 变体将平均攻击成功率(ASR)从 70%(不安全专家)大幅降至 13%,同时保持了 90% 的平均知识保真度。NeWTral 模块设计为可独立下载的资产,使从业者无需访问原始训练数据或进行硬件密集的重新训练,即可即时恢复安全对齐。

💡 推荐理由: 该研究为使用第三方 LoRA 模块的 LLM 部署提供了即插即用的安全恢复方案,解决了安全与领域知识之间的权衡问题,对构建可信 Agent 系统至关重要。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Linzhi Chen, Yang Sun, Hongru Wei, Yuqi Chen

本文针对低秩适配(LoRA)模型在开源社区(如Hugging Face)中广泛使用所带来的安全挑战展开研究。LoRA作为一种高效的大语言模型微调方法,其适配器文件可被轻易分享和传播,但这也为恶意攻击者提供了植入后门的机会。现有后门攻击方法在LoRA场景下面临三个主要问题:依赖原始训练数据(通常不可获取)、未考虑LoRA特有的结构属性、以及高虚假触发率(False Trigger Rate, FTR)导致隐蔽性差。为此,作者提出了一种因果引导去毒后门攻击框架(CBA),该框架无需访问原始训练数据即可实施攻击。CBA的核心创新包括两点:一是基于覆盖引导的数据生成流水线,通过行为探索合成与任务对齐的输入;二是因果引导的去毒策略,通过保留任务关键神经元来合并中毒适配器和干净适配器。与以往方法不同,CBA允许攻击者在后训练阶段通过因果影响权重分配来控制攻击强度,无需重复训练。在六个LoRA模型上的实验表明,CBA在实现高攻击成功率的同时,将FTR相比基线方法降低了50-70%。此外,该方法对现有先进的后门防御方法表现出增强的抵抗力,凸显了其隐蔽性和鲁棒性。本文的研究揭示了开源LoRA模型生态中存在的严重安全隐患,提醒社区关注此类新型后门攻击的威胁。

💡 推荐理由: 本研究揭示了开源LoRA模型共享生态中一种高隐蔽性、无需原始训练数据的后门攻击方法,对依赖LoRA微调的AI应用构成潜在威胁,值得安全从业者警惕并提前部署检测与防御机制。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)