Jailbreaking for the Average Jane: Choosing Optimal Jailbreaks via Bandit Algorithms for Automatically Enhanced Queries
本研究探讨了非专业恶意行为者是否能够利用广泛传播的越狱攻击手段，成功诱导大型语言模型（LLM）输出有害内容。为此，作者提出了一种基于多臂老虎机（multi-armed bandit）框架的新型攻击策略。该策略允许攻击者通过少量查询的噪声探索
#cs.CL
共收录 424 条相关情报。
← 返回所有主题Adversarial Diffusion Across Modalities: A Fusion Survey of Attacks, Defenses, and Evaluation for Text, Vision, and Vision-Language Models
本文是一篇关于对抗性攻击与防御在跨模态AI系统中的综述，聚焦于扩散模型在文本（LLM）、图像分类器、视觉-语言模型（VLM）以及输入净化防御中作为攻击或防御机制的统一框架。作者将过去沿着四个相对独立轨迹发展的研究整合起来：基于扩散的文本/L
Adaptive Evaluation of Out-of-Band Defenses Against Prompt Injection in LLM Agents
该论文聚焦于LLM Agent（大语言模型驱动的智能体）在面对间接提示注入攻击时的防御策略。近期（2024-2026）的研究趋势是从训练模型拒绝恶意指令转向在模型之外通过确定性策略实施安全防御，即带外防御（out-of-band defen
ProvenAI: Provenance-Native Traces of Evidence in Generated Answers
随着检索增强生成系统在问答任务中广泛应用，其提供的引用往往无法反映真实的信息来源影响。本文提出ProvenAI框架，将多跳问答中的透明度分解为三个独立可测量的层次：答案正确性（answer correctness）、引用保真度（citati
Detect, Unlearn, Restore: Defending Text Summarization Models Against Data Poisoning
该论文针对在微调阶段对大型语言模型（LLM）进行数据投毒攻击的防御问题展开研究。在抽象文本摘要任务中，微调数据集通常较小，攻击者可通过操纵少量训练样本，使模型生成有偏见或有害的摘要，同时保持标准评估指标正常。论文提出了一种统一的防御框架，可
RAS: Measuring LLM Safety Through Refusal Alignment
该论文提出了一种名为 SafeVec 的白盒 LLM 安全评估方法。传统方法通过查询模型并判断输出是否违规来评估安全性，但这种方法成本高、受评判器影响大且依赖固定题库。SafeVec 从内部表示层面入手：首先从安全对齐的参考模型中提取逐层的
Tracing Target Answers in Poisoned Retrieval Corpora via Token Influence Attribution
该论文针对检索增强生成（RAG）系统面临的语料库投毒攻击问题，提出了一种轻量级检测框架TRACE。RAG系统通过检索外部文档来增强大语言模型的生成能力，但攻击者可向检索库中注入恶意文档，诱导模型输出特定目标答案。现有检测方法通常依赖额外的分
Security and Privacy in Retrieval-Augmented Generation: Architectures, Threats, Defenses, and Future Directions for Building Trustworthy Systems
本文是一篇关于检索增强生成(RAG)系统安全与隐私的综合性综述。RAG通过将外部知识库与大型语言模型结合，显著提升了事实性和适应性，但也引入了传统语言模型威胁之外的新风险。论文首先介绍了RAG的典型架构，包括集中式、设备端(Micro-RA
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打
ComputeFHE: A Privacy-Preserving General-Purpose Computation Library
全同态加密（FHE）允许在加密数据上直接执行计算，同时保护数据机密性，但其实际应用受到高计算成本和开发复杂性的限制。本文提出 ComputeFHE，一个基于 TFHE 密码系统的开源 C++ 库，旨在简化隐私保护应用的开发。该库提供加密整数
Decoherence as Defence and the Magnitude of Noise Regularisation: A Rigorous N -Qubit Theory of Stochastic Quantum Neural Networks for Adversarially Robust Network Intrusion Detection
本文提出了一种基于随机量子神经网络（SQNN）的对抗鲁棒网络入侵检测方法。作者首先通过随机主方程和向量化的Liouvillian形式给出了N量子比特的严格理论框架，证明了退相干-收缩定理：在L层纠缠层上强度为γ的去极化通道会使每个权重为w的
CORE-BREW: LLR-Based Soft Decoding for Robust Multi-Bit LLM Watermarking
本文针对大型语言模型（LLM）输出的多比特水印鲁棒性问题，提出一种基于对数似然比（LLR）的软判决解码方法CORE-BREW。现有基于纠错码（ECC）的LLM水印多采用硬判决解码，丢弃了令牌级别的可靠性信息，导致在编辑攻击（如词汇替换、改写
Cross-National Information Attacks: A Two-Decade Analysis of Troll Behavior in Korea
该论文针对国家层面的协调性信息操纵（即网络水军/巨魔）问题，提出了一种可解释的机器学习框架，用于检测和纵向分析疑似境外势力在韩国在线新闻评论区的活动。研究背景是外国影响力行动对线上平台构成日益严重的威胁，但检测国家关联的巨魔账号并追踪其演变
Black-Box Forensics for Conversational LLM Agents
本文研究了对黑盒对话式LLM智能体进行数字取证的方法。随着LLM驱动的诈骗日益猖獗，识别隐藏端点背后的基础模型（归属）以及判断两个端点是否运行完全相同的系统提示（指纹识别），对于追溯诈骗来源、揭露犯罪网络和监控API变更至关重要。作者提出了
$π$-RAG: Oblivious Retrieval via Semantic Quantization and Transcendental Addressing for Large Language Models
本文提出了一种名为 π-RAG 的新型架构，旨在解决传统检索增强生成（RAG）系统中向量嵌入暴露于潜在反转攻击和非确定性检索失败的问题。核心创新在于利用数学常数 π 的数字作为超然熵源，构建一个不可变的间接层，将大型语言模型（LLM）与敏感
A Hybrid, Multi-Layered Pipeline for Phishing and Threat Classification: Independently Validated URL and NLP Engines with a Calibrated Multi-Channel Fusion Stage
本文提出一种针对钓鱼攻击（多模态威胁）的混合多层级检测管道。该管道为每种模态独立构建引擎，最后进行融合决策。具体包括三个引擎：1）四阶段URL检测栈：包含域名守卫、词法模型、威胁情报以及一个非对称L2融合侧车；2）鲁棒性增强的DistilB
Toward Open Weight Models Without Risks: Separating Public and Private Capabilities in LLMs
当前开放权重的大型语言模型（LLM）在推动科学进步的同时，也带来了对敏感能力进行访问控制的挑战。现有做法要么在发布前抑制危险能力，要么通过封闭服务（如API权限、输入输出监控）进行访问管理。前者易受越狱攻击，且为了少数风险而对所有用户牺牲能
A Layered Security Framework Against Prompt Injection in RAG-Based Chatbots
该论文针对检索增强生成（RAG）聊天机器人面临的提示注入攻击，特别是间接注入（通过污染知识库文档实现攻击），提出了一种三层防御框架。第一层（输入过滤层）使用基于规则的模式库和微调的语义异常分类器对用户输入进行筛查。第二层（上下文组装层）在执
Evaluating Prompting-Based Defenses Against Domain-Camouflaged Injection Attacks
该论文系统评估了基于提示的防御机制对领域伪装注入攻击的效果。领域伪装注入攻击是一种利用领域特定词汇将恶意指令嵌入检索内容中，从而绕过依赖语法注入标记的标准检测器的攻击方式。研究者在三个模型家族（Claude Haiku、Llama 3.1
A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models
该论文对 Anthropic 开发的两个前沿大语言模型（Fable 5 和 Opus 4.8）进行了系统性的红队测试，评估其对抗自动化越狱攻击的鲁棒性。研究使用 HackAgent 红队框架，生成了数十万次对抗性尝试，覆盖四个自动化越狱攻击