High-quality Data Do not Mean Safe! Poisoning LLMs after Data Selection
该论文研究的是大语言模型（LLM）微调阶段的数据投毒问题，指出了一个被此前工作普遍忽略的盲区。既有研究通常假设投毒样本会原封不动地进入下游微调流程，但在真实训练流水线中，数据往往先经过基于质量的数据筛选（selection/filterin
#fine-tuning
共收录 27 条相关情报。
← 返回所有主题Sleeping Secrets: How Fine-Tuning Reawakens Privacy Risks in Language Models
该论文研究的是大模型微调过程中的隐私风险复发问题。已有研究表明，在下游微调之后，模型可能重新暴露出经过对齐或遗忘处理后已无法通过直接查询获取的私有信息（即“微调恢复攻击”）。然而，此前的方法大多依赖一个不现实的假设：攻击者能够获得与原始训练
Safer Content or Firmer Refusals? A Hybrid Perturbation Defense for Alignment under Harmful Fine-tuning
该论文研究"微调即服务"(Fine-tuning-as-a-service)场景下的有害微调(harmful fine-tuning)攻击面: 用户在对齐后的语言模型上用自有数据做微调时, 只需在大量良性样本中混入少量有害数据, 就足以削弱
The Privacy Fallacy of Crowdsourced Fine-Tuning: Extracting Proprietary Data via Topic-Based Poisoning
该论文研究监督微调（SFT）流程中被长期忽视的一个隐私风险。当前大模型适配下游任务普遍依赖众包方式收集用户对话作为 SFT 数据，以降低人工标注成本，但这也意味着不受信任的用户可以向微调数据管道中注入数据。作者提出的核心问题是：恶意用户是否
Benchmarking LLMs for Threat Level Determination
本文研究了大型语言模型（LLM）在网络威胁情报（CTI）运营任务中的可靠性，具体聚焦于“威胁等级判定”这一子任务。随着LLM的快速发展，其在安全运营中被视为潜在的自动化辅助工具，但其实际决策能力尚未得到充分验证。作者首先从公开的MISP O
Alleviating the Fear of Losing Alignment in LLM Fine-tuning.
本文研究大型语言模型（LLM）在微调过程中对齐（alignment）能力意外丧失的问题。尽管对齐训练可以促使模型拒绝回答不道德或有害的问题，但当模型针对下游任务进行微调时，这种对齐可能被削弱，导致模型再次输出有害内容。作者观察到，一个经过对
Hearing the Whispers: Black-Box Membership Inference Attacks on Finetuned TTS Models
文本转语音（TTS）基础模型正越来越多地被用于在私有数据集上微调以合成高度个性化的声音，但这同时引入了严重的隐私风险，因为语音既包含生物特征身份又包含敏感语音内容。现有的黑盒成员推理攻击（MIA）通常采用查询生成和表示工程两阶段流程，但直接
When Safety Routing Breaks: Understanding Alignment Fragility under Benign Fine-Tuning
这篇论文研究良性微调（benign fine-tuning）如何严重削弱大型语言模型（LLM）的安全对齐（safety alignment），并探索拒绝行为（refusal behavior）为何如此脆弱。以往研究常将安全失效归因于梯度冲突
Improving LLM-Based SSH Honeypots Through Prompting and Fine-Tuning
该论文研究了如何通过提示设计与监督微调来改进基于本地 LLM 的 SSH 蜜罐的 shell 模拟准确性。研究背景是：现有 LLM 蜜罐通常依赖闭源云模型（如 GPT-3.5）以获得高度真实的 shell 交互体验，但云模型带来部署层面的问
An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs
本研究针对开源权重微调大语言模型（LLM）中后门注入的检测问题进行实证分析。在模型分享平台上，任何人都可以上传自称安全的微调模型，但模型可能内置后门：在普通输入下表现正常，一旦遇到特定触发器则产生恶意行为。对于完全不掌握训练数据、原始干净权
Gradient Immunity: Null-Space Resistance to Malicious Fine-Tuning
该论文研究的是开源大语言模型在发布后被恶意下游微调（malicious downstream fine-tuning）所引发的安全风险。现有防御措施主要面向微调即服务（FTaaS）范式，或依赖下游用户遵守额外安全流程，难以适用于论文关注的场
On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能
Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
该论文针对网络安全领域中小型大语言模型（LLM）的微调选择问题，提出了一种任务导向的诊断框架FiT（Find before Fine-Tune）。研究背景是：在网络安全问答（QA）这样的关键领域，微调可以提升领域对齐，但可能侵蚀预训练知识、
DataShield: Uncovering Risky Fine-Tuning Data Across LLMs Through Consensus Subspace Alignment
该论文针对大型语言模型（LLM）微调过程中可能出现的安全性退化问题，提出了一种名为 DataShield 的数据风险评估框架。现有研究表明，即使使用良性任务特定数据进行微调，也可能显著削弱 LLM 的安全能力（如拒绝有害请求）。已有的风险识
Inherited Circuits, Learned Semantics: How Fine-Tuning Creates Evasion Vulnerabilities Invisible to Standard Evaluation
本文研究了大语言模型（LLM）在安全分类任务的微调过程中引入的隐蔽漏洞。通常，LLM在微调后会在同分布留出集上评估，但作者发现这种标准评估无法检测出微调本身带来的新脆弱性：模型可能学习到基于令牌的指示器语义，在保持正常分类准确率的同时，对行
Fair Finetuning Mitigates Distribution Inference Attacks
本文研究了机器学习模型在敏感数据训练时可能泄露训练分布群体信息的问题，即分布推断攻击（DIA）。攻击者仅通过黑盒访问模型，即可推断出敏感的人口统计属性（如子群体比例）。现有防御手段如差分隐私和属性遗忘已有相关研究，但公平性约束与分布泄漏之间
GradSentry: Gradient Spectral Entropy for Backdoor Sample Filtering in Large Language Model Fine-Tuning
该论文提出了一种名为GradSentry的后门样本过滤方法，用于防御大语言模型（LLM）微调过程中的后门攻击。研究背景是：在微调LLM时，使用不可信的数据集可能引入后门攻击，其中被投毒的样本会导致模型在特定触发器下产生恶意行为。现有的样本过
Open-Weight LLM Fine-Tuning Defenses are Susceptible to Simple Attacks
该论文研究了当前针对开源权重大语言模型（LLMs）的安全微调防御措施，这些措施旨在防止模型被用于有害目的。然而，预训练的LLMs本身已编码了大量有害知识，这意味着攻击者可能无需额外微调，仅通过提示注入或越狱方式就能诱导模型产生有害输出。论文
Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions
该论文系统综述了大语言模型（LLM）微调生命周期中的安全问题。背景：微调是使预训练LLM适应下游任务的核心技术，但其对训练数据、参数更新和可复用组件的依赖为攻击者提供了入口。威胁已从数据中毒、权重篡改进化到智能体操纵和接口利用，而现有综述缺
Detecting Trojaned DNNs via Spectral Regression Analysis
现代深度神经网络（DNN）通过反复微调来融入新数据与功能，但这种演进工作流引入了安全风险：当更新数据不完全可信时，攻击者可能在微调过程中植入后门（Trojan）。现有的后门检测方法通常需要重建触发器或依赖干净验证集，假设条件强且计算开销大。