On-Policy Distillation for LLM Safety: A Routing Approach to Template-Robust Realignment
本文针对大型语言模型（LLM）在微调过程中存在的安全漏洞展开研究。作者指出，恶意数据提供者可以将有害行为嵌入下游训练语料，导致模型在保留专业技能的同时，按照要求违背人类价值观。现有的安全重对齐防御通常面临三大局限：一是容易造成模型对专业技能
#cs.LG
共收录 1067 条相关情报。
← 返回所有主题HoF-Bench: Rediscovering Real AI-Discovered CVEs Without Frontier Models
本文介绍 HoF-Bench，一个由真实 AI 发现的 CVE 组成的基准测试集，旨在评估基于大语言模型（LLM）的漏洞分析器。背景：已有 LLM 分析器（如 AISLE 的 analyzer）在成熟开源项目中发现了超过 280 个真实 C
AgentSnare: Learning to Delay, Divert, and Defuse Autonomous Penetration Agents
该论文针对大语言模型（LLM）驱动的自主渗透测试代理提出了一种新型动态欺骗防御系统 AgentSnare。LLM 代理通过“观察-行动”循环与工具交互：代理选择动作，工具返回观察结果，代理再基于观察继续决策。这种依赖关系使得防御方可以注入欺
Defending Against Backdoor Attacks via Alignment Checking in Model-Contrastive Federated Learning
联邦学习（Federated Learning, FL）在边缘计算场景中因分布式训练特性而容易遭受后门攻击。现有防御方法往往忽略了两个关键因素：一是良性本地更新之间因统计异质性（statistical heterogeneity）而产生的偏
ToxScreen: Detecting Whether an LLM Has Been Poisoned
该论文针对大语言模型（LLM）在关键领域部署时面临的数据投毒后门攻击问题展开研究。攻击者可能通过污染训练数据植入后门触发器，使得模型在推理阶段遇到特定输入时被隐蔽地操控行为。作者聚焦于防御者在现实约束下的触发器恢复能力：仅拥有模型的白盒权重
Forecasting Trajectory-Level Safety Risks in Black-Box Multi-Turn Interactions
随着大语言模型（LLM）从独立助手演化为自主智能体，其安全挑战已从单点风险转向长时序轨迹中的风险演化。在多轮交互中，恶意意图可以被拆解到多个看似无害的轮次，再通过交互轨迹逐步重组，最终引发安全故障。现有防御手段大多是反应式的，只能检测已经发
Recover, Decode, Reguard: Guard-Agnostic Defense Amplification againstEncoded VLM Jailbreaks
该论文针对视觉语言模型（VLM）的安全防御问题，指出现有安全分类器（guard）作为主要黑盒防御手段，仅审查输入的表面形式而忽略其语义，导致恶意请求可以通过集合论、形式逻辑、罕见语言、代码或文本图像等编码方式绕过guard，形成“解码差距”
RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
该论文提出了一种针对检索增强生成（RAG）系统数据投毒攻击的分层防御框架 RAGuard。RAG 系统通过检索外部语料库来增强大语言模型（LLM）的回答，但这种依赖也引入了安全风险：攻击者可以向语料库中注入精心设计的恶意文本片段，从而操纵检
Learning the Word Problem: Geodesic Lengths and Cryptographic Applications
本文研究数学与计算机科学交叉领域中的“字问题”（Word Problem），即判断一个群中给定字是否表示单位元的问题。字问题已有超过一个世纪的研究历史，最初推动组合群论发展，近年来成为后量子密码（PQC）中重要的困难性假设基础。尽管一般群的
GPT-Red: Automated Red Teaming via Self-Play at Scale
本文介绍了 GPT-Red，一个用于自动红队评估的大语言模型智能体，其核心目标是自动发现针对前沿大语言模型的提示注入攻击。研究背景是随着 LLM 在真实生产系统中的广泛应用，提示注入等安全威胁日益严峻，而传统人工红队效率低、覆盖有限，因此需
Anti-Backdoor Coreset Selection via Cumulative Entropy
本文提出一种针对神经网络后门攻击的训练阶段防御方法。现有训练时防御通常从被污染的训练数据中隔离出良性子集，并仅用该子集训练无后门模型。作者将这一策略形式化为核心集选择问题，即“反后门核心集选择”。其核心观察是：有毒样本通常具有较低的预测不确
Architectural Backdoors in Vision-Language Model Supply Chains via Representation Steering
该论文针对视觉-语言模型（VLM）供应链中的安全信任边界问题，提出了一类新型架构后门攻击。在VLM的典型供应链中，预训练权重、架构定义、文本编码器以及导出计算图往往由第三方提供并在下游服务中复用，导致部署方不仅继承模型参数，还会继承打包在共
Bits and Memories: Measuring Verbatim Extraction Across LLM Quantization
本论文针对大语言模型（LLM）量化是否能够降低隐私风险的问题展开研究。现有相关研究几乎全部使用成员推断（membership inference）来衡量隐私，但作者认为这并非大多数人所关心的实际风险：人们真正担心的是模型逐字复现训练数据。为
Lilith: Backdoor Generalization under Training-Inference Trigger Shift
该论文提出了一种名为 Lilith 的黑盒后门攻击框架，首次系统研究“训练-推理触发器移位”下的后门泛化问题。现有后门攻击研究大多假设训练时使用的触发器与推理时完全一致，或仅考虑训练中已暴露的触发器变体、沿预定变换轴的扰动，而忽略了训练时学
Decision-Level Hijacking: Injecting Cognitive Bias into Large Language Models via Bit-Flip Attacks
该论文提出了一种针对大语言模型（LLM）的新型攻击范式——决策级劫持（Decision-Level Hijacking）。攻击者通过部署后仅翻转极少量权重比特（Bit-Flip Attack）的方式，在不触发违规内容或降低模型功能的前提下，
SecDrift: Measuring Sector-Conditioned Security Drift in AI-Generated Code
该论文提出了SecDrift基准测试，用于测量大语言模型（LLM）在生成代码时，针对不同行业领域的提示（如关键基础设施）相对于中性基线所产生的安全性漂移。作者从CISA定义的8个关键基础设施行业和9个CWE漏洞类别出发，对7个LLM（其中6
MOSAIC-FL, a micro-service based privacy-preserving framework with application to genomics
该论文提出了一种名为MOSAIC-FL的微服务架构隐私保护联邦学习框架，重点面向基因组学等敏感数据领域。框架采用模块化设计，集成gRPC高效通信层和有限状态机以确保组件同步和威胁检测；核心安全机制基于CKKS同态加密的阈值变体实现容错安全聚
Characterizing and Mitigating the Effects of Device Temperature on RF Fingerprinting Accuracy
射频指纹识别（RFFP）通过利用发射信号中嵌入的硬件特有缺陷来实现设备身份认证，近年来备受关注。然而，现有方法大多忽略了一个关键问题：设备温度（受内部和环境影响）会显著改变射频指纹特征，导致分类性能大幅下降。本文首次系统研究了温度对RFFP
ScoreShield: Differentially Private Release of Similarity Scores
本文提出 ScoreShield，一种差分隐私（DP）机制，用于安全发布向量嵌入之间的余弦相似度分数，适用于生物识别、检索增强生成（RAG）等应用。现有方法简单添加独立同分布高斯噪声会导致严重失真且隐私预算随分数数量平方级增长。ScoreS
BettiSplit: Topology-Guided Privacy-Aware Split Learning Against Feature Inversion and Gradient Leakage
本文研究分割学习中的隐私泄露问题，提出了一种基于拓扑复杂性（persistent Betti complexity）的隐私感知分割学习框架。分割学习通过将神经网络在客户端和服务器之间分割来实现协作训练，但不当的分割点会导致中间表示泄露敏感信