Send a SCOUT First: Pre-hoc Reasoning for Adaptive Detector Allocation in Prompt-Injection Defense
本文针对提示注入攻击的防御问题，指出现有检测器存在异质性：每个检测器在不同攻击类型上表现各异，没有单一检测器始终可靠。然而，现有系统仍采用固定单检测器流水线，将每个请求都交给同一个检测器处理，从而暴露于其盲区。作者提出将防御重新定义为检测器
#cs.LG
共收录 1073 条相关情报。
← 返回所有主题Differentially Private Preference Data Synthesis for Large Language Model Alignment
本文提出 DPPrefSyn，一种用于生成差分隐私（DP）合成偏好数据的新算法，旨在保护大语言模型（LLM）对齐过程中的隐私。在偏好对齐的后训练阶段，使用真实人类偏好数据可能泄露敏感的用户提示和判断。DPPrefSyn 基于 Bradley
Depth-Dependent Indirect Prompt Injection in Tool-Calling ReAct Agents: Injection Depth, Payload Framing, and Turn-Budget Sensitivity
该论文研究了工具调用ReAct智能体（如GPT-4o-mini和Claude Haiku）在面对间接提示注入攻击时的脆弱性。ReAct智能体交替进行链式思考推理和工具调用，广泛应用于日程安排、文件检索等实际任务。其工具观测循环存在攻击面：攻
CacheProbe: Auditing Prompt Cache Isolation in Gateway APIs
本文研究大型语言模型（LLM）推理API中提示缓存（prompt caching）实现的安全隔离问题。提示缓存通过复用请求的KV缓存来节省计算资源并加速响应，但许多实现存在时序攻击或元数据泄露风险。Gu等人（ICML 2025）已提出一种审
Local Differential Privacy with Correlated Noise Achieves Central-DP Optimal Cost
本文研究在诚实但好奇的服务器场景下，通过本地差分隐私（LDP）对 n 个用户持有的数值进行私有求和估计。传统上，本地差分隐私要求每个用户独立添加噪声，导致估计精度远低于集中式差分隐私（CDP）——后者在汇总数据后统一添加噪声。本文证明这一精
Token-Level Generalization in LoRA Adapter Backdoors: Attack Characterization and Behavioral Detection
该论文研究了针对LoRA适配器（当前微调大语言模型的主流格式）的后门攻击及其检测方法。作者通过数据投毒在LoRA适配器中植入后门，同时保持基准任务性能不受影响。以Qwen 2.5 1.5B提示注入分类器为例，少量有毒样本即可使后门达到饱和，
BioRefusalAudit: Auditing Biosecurity Refusal Depth Using General and Domain-Fine-Tuned Sparse Autoencoders
该论文研究了语言模型在生物安全场景下的拒绝行为可靠性。传统评估关注模型是否生成有害输出，但本论文提出一个补充问题：当模型拒绝时，其拒绝是否结构稳固，抑或在提示措辞、格式或输出长度的微小变化下消失？作者在五种架构（Gemma 2 2B-IT、
Privacy-Enhanced Zero-Order Federated Learning via xMK-CKKS over Wireless Channels
本文提出了一种基于多密钥同态加密（MK-HE）的隐私增强零阶联邦学习协议，适用于无线信道环境。传统联邦学习中的同态加密方法主要依赖单密钥方案，需要信道估计或预均衡来补偿无线衰落，且单密钥方案易受诚实但好奇的客户端攻击——一旦某个客户端密钥泄
Fingerprinting Inference Systems of Large Language Models
本文研究了大语言模型（LLM）推理系统的指纹识别问题。作者指出，LLM 的行为不仅取决于模型本身，还受推理系统中各组件（如推理引擎、注意力后端和硬件平台）的影响。不同组件的实现存在细微差异，导致同一模型在不同系统上运行时产生微小的数值偏差。
Honeyval: A Comprehensive Evaluation Framework for LLM-powered HTTP Honeypots
该论文提出了 Honeyval，一个针对基于大型语言模型（LLM）的 HTTP 蜜罐的全面评估框架。蜜罐是一种模拟真实系统组件的诱饵，用于防御网络攻击。近年来，LLM 越来越多地被用作蜜罐的模拟后端，使防御者能够构建高交互蜜罐，同时降低系统
Dissecting the Black Box: Circuit-Level Analysis of LLM Vulnerability Detection
本文采用机械可解释性方法深入分析大语言模型（LLM）检测软件漏洞的内部计算机制。研究以Gemma-2-2b模型为对象，使用Circuit Tracer工具追踪其在分类472个C/C++代码样本（含漏洞与安全代码）时激活的计算路径。令人惊讶的
NumLeak: Public Numeric Benchmarks as Latent Labels in Foundation Models
本研究揭示了大型基础语言模型在预训练阶段可能无意中记忆了公开的数值基准数据（如金融因子、经济指标、气候数据），导致基于时间截断的评估实际上测量的是模型的记忆能力而非泛化能力。作者提出了 NumLeak 测量框架，该框架结合了对生产环境闭源模
Cert-LAS: Toward Certified Model Ownership Verification for Text-to-Image Diffusion Models via Layer-Adaptive Smoothing
随着文本到图像（T2I）扩散模型在创意应用中的广泛使用，模型被未经授权使用的问题日益严重，模型所有权验证（MOV）成为保护知识产权的重要手段。现有基于后门的扩散模型水印方法通常隐含假设验证过程是“忠实”的，即验证者可以查询可疑模型并获得可信
AgentDoG 1.5: A Lightweight and Scalable Alignment Framework for AI Agent Safety and Security
该论文针对开放世界AI代理（如OpenClaw）在跨环境执行时引入的新型安全风险，提出了一种轻量级、可扩展的代理安全对齐框架AgentDoG 1.5。研究背景指出，现有前沿AI模型大幅降低了攻击门槛，而当前的对齐框架不足以应对真实部署中的威
Temporal Motif-aware Graph Test-time Adaptation for OOD Blockchain Anomaly Detection
本文针对区块链异常检测中面临的两大挑战：恶意行为者造成的对抗性模式演化，以及区块链上交易语义多样性导致的分布外（OOD）问题。作者提出了一种名为 TEMG-TTA（时间感知的图测试时自适应）的新型框架。该框架首先通过高效的计算机制全面捕获每
AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
本文针对句子级文本水印在强释义攻击下鲁棒性不足的问题展开研究。现有的句子级水印方法通过将水印锚定在句子语义上来增强对释义的鲁棒性，但基于前缀的设计仍然容易受到句子分割和合并等结构扰动的影响，这些扰动在DIPPER、GPT-3.5等强释义器下
Harmless Yet Harmful: Neutral Prompting Attacks for Stealthy Hallucination Steering in Agent Skills
本文研究了LLM驱动的代码智能体在软件供应链中引入的新风险。代码智能体越来越多地参与软件开发流程，包括生成代码、选择依赖项和产生包安装命令。当智能体幻觉出一个不存在的包名时，攻击者可以注册该幻觉包名，进而危害安装该包的用户。现有的包幻觉攻击
Implicit Identity Technologies for LLMs: Fingerprinting and Watermarking across Datasets, Models, and Generated Content
本文是一篇针对大型语言模型（LLM）领域内指纹识别与水印技术的综述论文，旨在统一术语、生命周期阶段和评估目标，为LLM资产保护与溯源建立结构化基础。LLM的研发需要大量数据、算力和专业知识，且正被部署于高风险场景，因此保护LLM相关资产并追
ReasonBreak: Probing Vulnerabilities in Reasoning-Enabled Vision-Language-Action Models for Autonomous Driving
该论文首次系统性地研究了具有推理能力的视觉-语言-动作（VLA）模型在自动驾驶场景下对现实输入扰动的鲁棒性。以往研究多假设推理与轨迹生成紧密耦合且鲁棒，但实际场景中存在各种文本输入噪声（如传感器错误、环境描述歧义等）。作者以NVIDIA最新
Robust and Efficient Guardrails with Latent Reasoning
随着大型语言模型（LLM）在现实应用中的广泛部署，确保其安全性至关重要。现有的安全护栏通常依赖单次分类或最近提出的蒸馏推理方法。基于推理的护栏显著优于纯分类基线，但会引入大量查询延迟和令牌开销，使其难以在高吞吐量场景中部署。为了解决这一挑战