NeuronGuard: Robust LLM Safety Alignment via Ablation-Aware Safety Signal Redistribution
大型语言模型（LLM）的安全对齐在面对日益增长的攻击手段时仍然脆弱。越狱攻击通过精心设计的提示绕过安全机制，而神经元级攻击则在部署后直接剪除对安全至关重要的神经元。这两类攻击的共同弱点是：安全相关信息集中于稀疏的神经元子集。为此，本文提出
#cs.IR
共收录 72 条相关情报。
← 返回所有主题Trustworthy RAG: An Evaluation Agent for Detecting Misinformation and Knowledge Poisoning in Generative AI Systems
本论文针对检索增强生成（RAG）系统中的安全性与可靠性缺口展开研究。RAG 通过引入外部知识来增强大语言模型（LLM）的输出，但现有系统往往盲目信任检索结果，导致高语义相关性并不保证事实真实性，从而形成安全-可靠性缺口。攻击者可利用知识投毒
HARP: Hierarchical Adaptive Ranking with Preference-Adaptive Fusion for Query-Based CVE Prioritization
本文针对漏洞优先级排序中的偏好依赖问题展开研究。现有评分系统（如CVSS）和排序方法通常假设固定的评估标准，但实际中，不同组织在不同运营场景下对同一CVE的修复优先级可能截然不同。然而，组织的偏好往往是隐性的，难以显式表述为自然语言指令，而
Evaluating Structured Information Extraction with Open Models in a High Risk Public Sector Application
本文针对公共部门中高风险场景下的结构化信息抽取任务，系统评估了开源模型（OCR引擎、大语言模型LLM和视觉语言模型VLM）的端到端性能。研究背景是，虽然专有方案在商业应用中占主导，但开源组件组合成的抽取流水线正成为可行替代，然而在真实多步骤
Redakto - The Incognito Tab for LLMs
本文提出并实现了一个名为 Redakto 的开源工具，旨在解决大型语言模型（LLM）使用过程中的隐私保护问题，特别是针对欧盟新法规下个人可识别信息（PII）泄露的风险。随着 LLM 在各类应用中的普及，输入文本可能包含敏感信息，直接提供给模
GEO-Flag: Detecting and Measuring GEO-Optimized Web Content
本文针对生成式引擎优化（GEO）带来的新型内容操纵风险展开研究。GEO 通过修改网页内容，提高其被生成式搜索引擎（如基于大语言模型的检索增强系统）选中和引用的概率，使得部分页面获得超出其权威性或相关性的可见度，甚至可能让质量较低或虚假的信息
Coverage Is Not Containment: A Fundamental Limit of Admission-Time Defenses Against Coordinated Poisoning of Vector Retrieval
本文研究检索增强生成（RAG）系统中的投毒攻击与防御局限。RAG 通过从向量库检索段落作为上下文来回答问题，因此任何能够添加文档的人都有可能操纵答案。一种近期的防御方案是在文档摄入时进行过滤，拒绝任何行为类似“枢纽”的文档。作者证明这种过滤
RAGSieve: Self-Referenced Local Contrast for Knowledge-Poison Detection in Retrieval-Augmented Generation
检索增强生成（RAG）将外部语料库作为推理证据，但这也引入了安全风险：攻击者可通过注入恶意文档（知识投毒）来引导模型输出特定主张。现有检测方法通常依赖可信参考文档、特定攻击痕迹或全局阈值，这些方法在复杂语料拓扑下鲁棒性不足。本文提出 RAG
Defending against Model Extraction for GNNs with Model Reprogramming
图神经网络（GNN）是机器学习即服务（MLaaS）中高风险应用的核心技术，但其黑盒部署模式易受模型提取（Model Extraction）攻击：攻击者通过查询API窃取模型知识产权。现有防御措施存在根本性的'欧几里得偏差'——它们直接将图像
HaloMark: A Spectral Threshold for Embedding-Vector Watermarking under C2PA
HaloMark 论文提出了一种针对基础模型嵌入向量的水印方案，解决现有内容溯源机制（如 C2PA）无法直接应用于嵌入向量的问题。C2PA 标准通常与具有稳定位级或感知身份的资产绑定，但嵌入向量在量化、投影、微调和窗口平均等常规操作下会发生
Guixu: Valuation-Driven Data Discovery for Autonomous AI Agents with On-Chain Attestation
该论文提出了 Guixu，一个面向自主 AI 代理的、以数据价值评估驱动的数据发现系统。当前自主代理在执行模型训练、决策支持等下游任务时，高度依赖外部数据，但现有数据发现系统大多停留在检索层面：它们只能从异构数据源中返回候选数据集，却无法有
Attacking and Defending Multi-Agent Collaborative Filtering Systems Through Connectivity
本文研究多智能体协同过滤（CF）系统中的攻击与防御问题，特别关注系统连接性如何影响这些攻击和防御的效果。多智能体CF系统由多个自主的大语言模型（LLM）驱动的用户智能体和物品智能体组成，它们通过自然语言交互来细化偏好并生成推荐。这类系统既继
GoldenRetriever: Non-Interactive Homomorphic Encrypted Retrieval for Privacy-Preserving RAG
本文提出了一种名为 GoldenRetriever 的隐私保护检索增强生成（RAG）框架，旨在解决传统 RAG 流水线在明文数据上运行导致的隐私泄露问题。现有隐私保护检索方案多采用同态加密（HE）或私有信息检索（PIR），但往往依赖交互式协
RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning
该论文提出了一种针对检索增强生成（RAG）系统数据投毒攻击的分层防御框架 RAGuard。RAG 系统通过检索外部语料库来增强大语言模型（LLM）的回答，但这种依赖也引入了安全风险：攻击者可以向语料库中注入精心设计的恶意文本片段，从而操纵检
ScoreShield: Differentially Private Release of Similarity Scores
本文提出 ScoreShield，一种差分隐私（DP）机制，用于安全发布向量嵌入之间的余弦相似度分数，适用于生物识别、检索增强生成（RAG）等应用。现有方法简单添加独立同分布高斯噪声会导致严重失真且隐私预算随分数数量平方级增长。ScoreS
Occluded Oculus: Operationalizing Stylistic Obscurement
本文提出了一种名为 TraceTarnish 的文本作者匿名化系统，旨在对抗基于风格计量（stylometry）的作者识别技术。研究灵感来源于希腊神话中赫尔墨斯击败百眼巨人阿耳戈斯的故事，象征着通过巧妙策略战胜强大的监视系统。TraceTa
SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
本文研究了针对网络增强型大语言模型（LLM）推荐系统的对抗性排名操纵问题。当LLM通过检索和阅读实时网页来回答推荐查询时，它扮演了推荐系统的角色，每个检索到的页面都可能成为攻击面。现有工作主要关注虚构产品、检索投毒和排名提升，但未系统比较在
Adaptive Incident Prioritization for Security Operations at Scale
大型安全运营中心（SOC）每天需要处理数百个活跃安全事件，分析师在长且不断变化的队列中必须快速决定哪些事件应优先处理。传统的排序方法通常按到达时间、粗略严重等级或特定产品的启发式规则排序，导致相对优先级不明确。本文提出自适应事件优先级排序（
How Do You Choose Your AI Component? An Interview Study of Secure AI Integration in Practice
本研究通过半结构化访谈的方式，深入调查了22名软件开发者、架构师和AI从业者在集成大语言模型（LLM）作为AI组件时的决策过程和安全考量。研究发现，从业者在选择AI模型时主要受功能标准驱动，如性能、准确率、成本和特定功能（例如工具调用或多模
Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions
本文提出 CodeTracer，一个面向大语言模型代码补全系统中后门攻击的取证框架。背景是：代码补全系统（如 Copilot）依赖大型语言模型，但模型可能通过恶意微调数据被植入后门，导致生成恶意代码。现有防御技术难以检测和缓解自适应后门攻击