Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
本论文针对检索增强生成（RAG）系统中的安全性与可靠性缺口展开研究。RAG 通过引入外部知识来增强大语言模型（LLM）的输出，但现有系统往往盲目信任检索结果，导致高语义相关性并不保证事实真实性，从而形成安全-可靠性缺口。攻击者可利用知识投毒
#cs.CL
共收录 424 条相关情报。
← 返回所有主题SAC-Copula: Quality-Preserving Watermarking for Diffusion Language Models via Smooth Correlated Gumbel Fields
该论文提出 SAC-Copula，一种面向扩散语言模型（DLM）的保质量水印方法。与自回归解码不同，DLM 采用迭代并行去掩码机制，现有基于采样的水印方法通常注入逐位置的独立同分布扰动，与 DLM 的解码动态不匹配，导致生成质量下降。SAC
Auditing Cross-Lingual Fairness in Language Model Watermarking
该论文指出，当前大语言模型（LLM）输出水印方案的评估几乎完全基于英文文本，并且使用固定的检测阈值和狭窄的一组质量测量手段，这使得跨语言部署中的公平性问题被系统性忽视。作者提出了一套跨语言公平性审计框架，包含四个关键组成部分：第一，根据具体
HARP: Hierarchical Adaptive Ranking with Preference-Adaptive Fusion for Query-Based CVE Prioritization
本文针对漏洞优先级排序中的偏好依赖问题展开研究。现有评分系统（如CVSS）和排序方法通常假设固定的评估标准，但实际中，不同组织在不同运营场景下对同一CVE的修复优先级可能截然不同。然而，组织的偏好往往是隐性的，难以显式表述为自然语言指令，而
Linguistic Holonomy and Statistical Watermarks: Inner Geometry of Meaning-Preserving Transformations
本论文针对语言模型统计水印在语义保持变换下的鲁棒性问题展开理论分析。现有研究通常通过比较改写前后文本的语义相似度（即“端点”度量）来评估改写对水印的破坏程度，但作者指出这种端点度量是错误的统计量。受数学中纤维丛和和乐（holonomy）概念
Redakto - The Incognito Tab for LLMs
本文提出并实现了一个名为 Redakto 的开源工具，旨在解决大型语言模型（LLM）使用过程中的隐私保护问题，特别是针对欧盟新法规下个人可识别信息（PII）泄露的风险。随着 LLM 在各类应用中的普及，输入文本可能包含敏感信息，直接提供给模
Reflex-Guard: A Low-Latency Guardrail for LLM Prompt Safety Using Dense Semantic Embeddings
该论文针对大型语言模型（LLM）在实际部署中面临的安全挑战——攻击者通过精心构造的提示词（prompt）绕过安全控制。现有防护方法（如 LLM-as-a-judge 和基于云的安全 API）虽能检测不安全内容，但每次请求会增加约 250-9
Decomposition Attacks Across Unlinkable Identities: Limits of Stateful Defenses for LLM Services
该论文研究了大语言模型（LLM）服务在面对分解攻击时的防御极限，特别是当攻击者使用不可关联身份时，有状态防御是否仍然有效。分解攻击将有害任务拆分为多个看似合规的请求，分别提交给目标服务，再在外部组合各次回答以完成恶意目标。大多数现有防御是无
DSPrompt: Dynamic Soft Prompt Defense Against M-RAG Corruption
多模态检索增强生成（M-RAG）系统正面临一类对抗性攻击：攻击者精心构造恶意数据，使其嵌入向量在向量空间中与良性条目对齐，从而欺骗检索器、诱导模型产生有害输出。现有防御大多在查询阶段运行，依赖辅助检测器、相似度重排序或特征一致性校验，但存在
Coverage Is Not Containment: A Fundamental Limit of Admission-Time Defenses Against Coordinated Poisoning of Vector Retrieval
本文研究检索增强生成（RAG）系统中的投毒攻击与防御局限。RAG 通过从向量库检索段落作为上下文来回答问题，因此任何能够添加文档的人都有可能操纵答案。一种近期的防御方案是在文档摄入时进行过滤，拒绝任何行为类似“枢纽”的文档。作者证明这种过滤
Workspace Topology as an Attack Vector in Agentic Coding Assistants
本文针对智能体编程助手（agentic coding assistants）在开发工作区中广泛读取和利用第三方代码时引入的安全风险，提出并系统研究了一种新型攻击面——工作区拓扑（workspace topology）。作者将工作区拓扑定义为
From Positionwise Confidence to Prefix Scheduling: Verifier Skipping in Speculative Decoding
投机解码是一种加速自回归生成的技术，通过一个小型草稿模型生成候选 token 序列，再由大型目标模型并行验证。然而，传统的投机解码仍需要在每个草稿块上调用验证器，这成为性能瓶颈。特别地，投机扩散解码（SDD）通过离散扩散模型并行生成整个草稿
A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation
原则性监管（如“公平、清晰、不误导”或“提供良好结果”）属于评判性标准，无法简化为二元谓词。随着大型语言模型（LLM）被越来越多地用作裁判，其实际评估质量变得至关重要。本文提出，任何此类裁判都必须从四个维度进行评测：准确性（accuracy
Regime-Conditional Verification: Correctness Estimation for Adapting and Monitoring Safety Classifiers
本文针对大型语言模型（LLM）部署中安全分类器（safety classifier）失效的两大痛点提出解决方案：一是分类器在训练时学到的策略与部署方（deployer）期望的策略不一致，导致决策偏差；二是随着部署流量分布演化，分类器性能会逐
RAGSieve: Self-Referenced Local Contrast for Knowledge-Poison Detection in Retrieval-Augmented Generation
检索增强生成（RAG）将外部语料库作为推理证据，但这也引入了安全风险：攻击者可通过注入恶意文档（知识投毒）来引导模型输出特定主张。现有检测方法通常依赖可信参考文档、特定攻击痕迹或全局阈值，这些方法在复杂语料拓扑下鲁棒性不足。本文提出 RAG
Tracing Provenance and Detecting Tampering with Complementary LLM Watermarks
本文针对大语言模型（LLM）生成文本的溯源与篡改检测问题，提出了一种新型互补水印方法。现有水印技术通常对文本编辑具有鲁棒性，能够保持溯源属性，但这种鲁棒性也带来安全漏洞：攻击者可以在保留水印归属的同时对关键内容进行篡改，即所谓的“piggy
SoK: From Generation to Consumption of Privacy Documents in Software Systems
本SoK论文从软件工程视角系统性地综述了隐私文档（如隐私政策）从生成到消费的全生命周期。作者分析了2010至2025年间发表的290篇相关论文，围绕五个核心研究问题展开：隐私文档如何定义与界定、如何生成、如何分析与提取、如何检查不一致性和不
VICBench: A Multi-Language Benchmark for Code Vulnerability Detection
在软件安全领域，准确评估漏洞检测工具的效果高度依赖于包含“漏洞诱导提交”（Vulnerability-Inducing Commits, VIC）的基准数据集——即首次将漏洞引入代码库的提交。VIC 对于确定受影响的软件版本范围、追踪漏洞演
ToolHazard: Scaling Adversarial Environments for Security Evaluation and Alignment of LLM-based Agents
本文提出 ToolHazard，一个可扩展的对抗性环境合成框架，用于评估和提升基于大型语言模型（LLM）的智能体在集成外部工具时的安全性。核心研究问题是：LLM 智能体在感知环境状态时，容易受到嵌入其中的间接提示注入攻击，但现有研究多依赖手
How China-Origin Vision-Language Models Move from Refusal to Reframing in State Alignment
本研究系统性地考察了中国来源的视觉-语言模型（VLMs）在政治敏感话题上的国家对齐（state-aligned）行为，重点关注其如何从显式的拒绝转向隐式的重新表述。作者构建了一个包含200个核心条目的平衡基准，覆盖十个政治敏感话题，并设计了