SoK: Robustness in Large Language Models against Jailbreak Attacks
本文是一篇系统化知识综述（SoK），聚焦于大语言模型（LLM）针对越狱攻击的鲁棒性问题。越狱攻击通过精心构造的对抗提示，诱使模型生成有害、不道德或违反政策的输出，对高安全性应用中的信任、合规和安全构成实际威胁。现有评估实践通常仅依赖攻击成功
#LLM
共收录 2152 条相关情报。
← 返回所有主题Agentic Vulnerability Reasoning on Windows COM Binaries
本文提出 SLYP，一种端到端智能体管道，用于在 Windows 组件对象模型（COM）二进制文件中发现竞争条件漏洞并生成经调试器验证的利用证明（PoC）。COM 服务以高权限运行且对认证用户广泛可用，其中的竞争条件是本地权限提升的关键攻击
You Snooze, You Lose: Automatic Safety Alignment Restoration through Neural Weight Translation
随着开源大语言模型（LLM）的普及，通过公开分发低秩适应（LoRA）模块来定制模型能力已成为常见做法。然而，集成第三方 LoRA 模块会导致基础模型的安全对齐被灾难性遗忘，即模型失去了原有的安全护栏。传统方法通过安全数据微调来恢复对齐，但这
AgentTrust: Runtime Safety Evaluation and Interception for AI Agent Tool Use
现代AI代理通过工具调用（如文件操作、shell命令、HTTP请求和数据库查询）执行实际影响。单个不安全操作（如意外删除、凭证泄露或数据外泄）可能导致不可逆的损害。现有防御措施不完整：事后基准在执行后测量行为，静态护栏遗漏混淆和多步上下文，
AFL-ICP: Enhancing Industrial Control Protocol Reliability via Specification-Guided Fuzzing
工业控制协议（ICP）对于工业基础设施的可靠性和稳定性至关重要，但其安全性受到规范盲点（specification-blindness）瓶颈的根本性影响。现代模糊测试工具受限于基于观测的推理，难以深入协议状态或检测微妙的语义偏差。本文提出了
Pen-Strategist: A Reasoning Framework for Penetration Testing Strategy Formation and Analysis
本文提出 Pen-Strategist 框架，旨在解决现有基于 LLM 的自动化渗透测试框架在策略制定、领域推理和工具选择方面的局限性。该框架由两个核心组件组成：一个领域特定的推理模型和一个基于语义的 CNN 分类器。推理模型通过逻辑推理推
ExpShield: Safeguarding Web Text from Unauthorized Crawling and LLM Exploitation.
该论文针对大型语言模型（LLM）在训练过程中记忆网络爬取内容，可能导致版权或隐私泄露的问题，提出了一种名为ExpShield的主动防御机制。现有防护手段依赖爬虫或模型开发者的合规性，效果有限。ExpShield通过向文本添加不可见扰动（in
VeriLoRA: Fine-Tuning Large Language Models with Verifiable Security via Zero-Knowledge Proofs.
该论文提出了 VeriLoRA，首个将低秩适配（LoRA）微调与零知识证明（ZKP）相结合的框架，旨在解决大语言模型（LLM）在不可信环境下微调的安全性和可验证性问题。LoRA 通过低秩矩阵分解大幅降低微调所需的计算和存储资源，但标准 Lo
Incident Response Planning Using a Lightweight Large Language Model with Reduced Hallucination.
本文提出一种利用轻量级大型语言模型（LLM）进行事件响应规划的新方法，旨在解决现有基于前沿LLM的提示工程方法成本高且易产生幻觉的问题。该方法包含三个步骤：微调、信息检索和前瞻规划。首先，通过微调使模型适应安全领域；其次，检索相关历史事件和
Memory Backdoor Attacks on Neural Networks.
本论文提出一种针对联邦学习的训练时后门攻击方式，使恶意服务器能够系统性地提取客户端完整训练样本。传统数据提取方法往往只能概率性重建或产生幻觉，无法精确恢复原始数据。该方法通过修改训练过程，在模型中嵌入一个后门触发器，当输入特定索引模式时，模
What Do They Fix? LLM-Aided Categorization of Security Patches for Critical Memory Bugs.
该论文聚焦于开源软件项目中安全补丁的自动分类问题，特别是针对 Linux 内核中严重的内存错误（如越界访问 OOB 和释放后使用 UAF）。由于安全补丁经常被延迟采纳，且存在故意沉默的修复、CVE 分配不完整或延迟等问题，识别关键补丁变得困
Cache Me, Catch You: Cache Related Security Threats in LLM Serving Frameworks.
本文首次系统性地研究了大型语言模型（LLM）服务框架中缓存机制引发的安全威胁。随着LLM在生产环境中的广泛部署，服务框架（如vLLM、TGI等）广泛采用缓存技术（如键值缓存、前缀缓存）以降低推理延迟和成本。然而，这些缓存设计引入了新的攻击面
Bleeding Pathways: Vanishing Discriminability in LLM Hidden States Fuels Jailbreak Attacks.
该论文研究了大型语言模型（LLM）在面对越狱攻击时的脆弱性，发现了一个关键问题：在响应生成过程中，LLM区分安全与有害输出的能力会逐渐下降。实验表明，随着生成的进行，安全响应和有害响应的隐藏状态之间的可分离性不断减弱，这种“判别性消失”迫使
When Cache Poisoning Meets LLM Systems: Semantic Cache Poisoning and Its Countermeasures.
本文针对大型语言模型（LLM）系统中的缓存机制提出了语义缓存投毒攻击。传统的缓存投毒主要针对查询字符串精确匹配，而LLM系统常采用语义缓存来缓存具有相似语义的查询，以提高推理效率并降低成本。作者首次提出语义缓存投毒攻击，攻击者通过构造与合法
A Causal Perspective for Enhancing Jailbreak Attack and Defense.
本文针对大语言模型（LLM）的“越狱”攻击机制展开因果分析研究。现有研究主要通过对潜在表示的探测来分析越狱提示，但往往忽略了可解释提示特征与越狱发生之间的因果关系。为此，作者提出了Causal Analyst框架，将LLM集成到数据驱动的因
In-Context Probing for Membership Inference in Fine-Tuned Language Models.
本文提出一种针对微调大语言模型（LLM）的成员推理攻击（MIA）新框架ICP-MIA。现有黑盒MIA方法多依赖置信度分数或词元似然，但这些信号与样本内在属性（如难度、稀疏性）纠缠，导致泛化差、信噪比低。作者从训练动态理论出发，发现优化过程中
CHAMELEOSCAN: Demystifying and Detecting iOS Chameleon Apps via LLM-Powered UI Exploration.
本文提出了一种名为ChameleoScan的新型检测框架，旨在利用大语言模型（LLM）驱动的UI探索技术，识别和检测iOS平台上的变色龙应用（Chameleon Apps）。变色龙应用是一类在应用商店审核期间表现正常，但安装后通过更新、远程
FirmAgent: Leveraging Fuzzing to Assist LLM Agents with IoT Firmware Vulnerability Discovery.
本文提出 FirmAgent，一种融合模糊测试与大型语言模型（LLM）智能体的方法，用于自动化发现物联网（IoT）固件中的安全漏洞。研究背景是：IoT 设备数量激增，其固件普遍存在内存破坏、逻辑缺陷等漏洞，而传统模糊测试在固件平台上面临代码
DUALBREACH: Efficient Dual-Jailbreaking via Target-Driven Initialization and Multi-Target Optimization.
本文提出了一种针对大语言模型（LLM）及其防护栏（Guardrails）的双重越狱攻击框架DualBreach。现有研究主要关注单一越狱，即仅针对LLM本身，而忽略了防护栏的防御作用，导致在防护栏保护的LLM上攻击成功率受限。DualBre
Automated Code Annotation with LLMs for Establishing TEE Boundaries.
该论文研究了如何利用大语言模型（LLM）自动为代码添加注释，以确定可信执行环境（TEE）的边界。在TEE开发中，正确识别和标记边界代码至关重要，但传统上依赖人工手动注释，不仅耗时且容易出错。作者提出了一种自动化框架，通过微调LLM来理解代码