LeakDojo: Decoding the Leakage Threats of RAG Systems
本文针对检索增强生成（RAG）系统中的数据泄漏风险展开系统研究。RAG技术通过让大语言模型（LLM）利用外部知识库来提升回答质量，但同时也将宝贵的RAG数据库暴露于泄漏攻击之下。随着RAG系统日益复杂，LLM的指令遵循能力不断增强，现有研究
#cs.CL
共收录 424 条相关情报。
← 返回所有主题Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning
该论文系统性地研究了检索增强生成（RAG）系统在知识库投毒攻击下的鲁棒性，重点关注不同RAG架构之间的差异。现有攻击几乎只在简单的“检索-生成”流水线上测试，而本文首次评估了四种典型RAG架构：vanilla RAG（标准流水线）、agen
One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue
本文针对多轮对话中隐藏恶意意图的威胁，提出了一种响应感知的防御方法。攻击者可将恶意目的分散到多个看似无害的对话轮次中，绕过现有安全对齐和外部护栏。作者检测出“最早使得累计交互足以产生危害的轮次”，即“危害使能关闭点”，以实现精确的轮次级别干
Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization
本文针对音频语言模型（ALM）的越狱攻击展开研究。现有的越狱攻击通常在整个音频波形上密集地优化扰动，以诱使ALM生成不安全的内容。作者首先通过分析ALM中token对齐梯度的结构，发现梯度能量在音频token上高度不均匀，即只有少量toke
SWAN: Semantic Watermarking with Abstract Meaning Representation
SWAN（语义水印与抽象语义表示）是一种新颖的文本水印框架，它利用抽象语义表示（AMR）将水印签名直接嵌入句子的语义结构中。与现有方法在文本生成过程中通过调整令牌选择偏好来编码签名不同，SWAN将签名编码在语义表示层面，因此任何保留语义的释
Exposing LLM Safety Gaps Through Mathematical Encoding:New Attacks and Systematic Analysis
该论文揭示了大型语言模型（LLM）安全机制在数学编码攻击下的严重漏洞。当前LLM的防御主要依赖语义模式匹配，作者提出了一系列将有害提示编码为连贯数学问题的方法，包括集合论、形式逻辑和量子力学等数学形式体系。实验在8个目标模型和两个基准测试上
MAGE: Safeguarding LLM Agents against Long-Horizon Threats via Shadow Memory
随着大语言模型驱动的智能体（LLM agents）被部署到复杂的现实世界任务中，它们面临一类日益增长的攻击：利用扩展的用户-智能体-环境交互，在单轮对话中难以实现的恶意目标。这类“长程威胁”对关键领域智能体的安全部署构成重大风险。本文提出M
PIIGuard: Mitigating PII Harvesting under Adversarial Sanitization
本文提出了一种名为 PIIGuard 的网页级防御机制，旨在缓解大型语言模型（LLM）助手在浏览网页时从公共页面中抓取联系型个人身份信息（PII）的风险。现有的防御措施大多部署在模型层、服务层或智能体层，而普通网页所有者缺乏可行的部署选项。
FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework
本文提出 FunFuzz，一个基于大型语言模型（LLM）的进化模糊测试框架，旨在解决传统 LLM 驱动模糊测试中 prompt 初始化和采样方差导致的探索效率低下和输入冗余问题。FunFuzz 采用多岛进化算法，并行运行多个隔离的搜索过程，
ContextualJailbreak: Evolutionary Red-Teaming via Simulated Conversational Priming
本文提出了一种名为 ContextualJailbreak 的黑盒红队攻击策略，用于自动化发现大语言模型（LLM）的越狱漏洞。与大多数现有工作集中在单轮提示优化不同，本文聚焦于多轮对话中的上下文预置（contextual priming）攻
Fight Poison with Poison: Enhancing Robustness in Few-shot Machine-Generated Text Detection with Adversarial Training
机器生成文本（MGT）检测对于规范在线信息生态系统至关重要，但现有检测器在小样本设置下表现不佳，且容易受到对抗性人性化攻击。本研究从威胁建模角度出发，研究攻击者视角下的检测器漏洞。为此，作者提出REACT（RAG引导攻击者强化对比小样本检测
TwinGate: Stateful Defense against Decompositional Jailbreaks in Untraceable Traffic via Asymmetric Contrastive Learning
该论文针对大语言模型（LLM）面临的分解式越狱攻击提出了一种新型防御框架。分解式越狱攻击通过将恶意目标拆分为一系列看似无害的查询，使攻击者能够绕过安全防护，累积重构出被禁止的内容。在实际部署中，LLM面对连续、不可追溯的匿名请求流，其中混杂
One Single Hub Text Breaks CLIP: Identifying Vulnerabilities in Cross-Modal Encoders via Hubness
该论文研究了多模态编码器（如CLIP）在跨模态检索和评估任务中存在的“中心点”（hubness）问题。在高维嵌入空间中，某些嵌入点（称为hub）会与大量不相关样本具有高相似度，这可能导致跨模态相似性计算的异常。作者提出了一种方法，能够识别出
SafeReview: Defending LLM-based Review Systems Against Adversarial Hidden Prompts
本文针对大语言模型（LLM）在学术同行评审应用中面临的对抗性提示攻击问题展开研究。攻击者可以在提交的论文中嵌入对抗性指令（即隐藏提示），以操纵LLM的评审结果，这严重威胁学术诚信。为了应对这一威胁，作者提出了一种新颖的对抗框架：该框架包含一
LATTICE: Evaluating Decision Support Utility of Crypto Agents
该论文提出了 LATTICE，一个用于评估加密代理（crypto agents）在真实用户场景中决策支持效用的基准测试。以往加密代理基准主要关注基于推理或结果的评估，但未能评估代理辅助用户决策的能力。LATTICE 通过以下方式填补这一空白
The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive
本文报告了前沿大语言模型（LLM）输出中一个惊人的统计规律性，使得仅依赖CPU的评分基元（scoring primitive）能以每个token 2.6微秒的速度运行，估计延迟比现有的基于采样的检测器低五个数量级（10万倍）。研究跨越了来自
MGTEVAL: An Interactive Platform for Systemtic Evaluation of Machine-Generated Text Detectors
本文介绍了一个名为 MGTEVAL 的可扩展平台，用于系统评估机器生成文本（MGT）检测器。尽管 MGT 检测领域取得了快速进展，但现有的评估工作往往因数据集、预处理方法、攻击方式和评估指标的碎片化，导致结果难以比较和复现。MGTEVAL
Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models
大型语言模型在运行时可能表现出各种异常行为，例如训练时注入的后门在触发词下被激活、越狱攻击绕过安全对齐、提示注入覆盖部署者指令。现有的运行时防御通常针对单一威胁，且依赖干净参考模型、触发知识或可编辑权重，这些假设对不透明的第三方模型往往不成
A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations
大型语言模型（LLM）的微调能够使其适应特定应用，但高昂的计算成本使得资源受限的组织难以独立完成。云平台可以提供所需资源，但数据隐私问题使得将敏感信息共享给第三方存在风险。分割学习（Split Learning）作为一种有前景的解决方案，将
The Kerimov-Alekberli Model: An Information-Geometric Framework for Real-Time System Stability
This study introduces the Kerimov-Alekberli model, a novel information-geometric framework that redefines AI safety by f