Decompiling the Synergy: An Empirical Study of Human-LLM Teaming in Software Reverse Engineering.
该论文首次系统性地研究了大型语言模型（LLM）在软件逆向工程（SRE）中与人类分析师的协作效果。研究分为两部分：首先通过一项包含153名从业者的在线调查，记录了当前LLM在SRE领域的应用现状；随后设计了一项精细的人类实验，选取两个具有CT
#LLM-security
共收录 143 条相关情报。
← 返回所有主题Adversarial Watermarking Transformer: Towards Tracing Text Provenance with Data Hiding.
本文针对自然语言生成模型（如GPT）可能被滥用于生成虚假信息、钓鱼邮件等问题，提出了一种名为Adversarial Watermarking Transformer (AWT)的文本水印方法，用于追溯文本来源。AWT是一个端到端的编码器-解
SIREN (Luring LLMs onto the Rocks): PAIR-Driven Preference Manipulation in Web-RAG Recommenders
本文研究了针对网络增强型大语言模型（LLM）推荐系统的对抗性排名操纵问题。当LLM通过检索和阅读实时网页来回答推荐查询时，它扮演了推荐系统的角色，每个检索到的页面都可能成为攻击面。现有工作主要关注虚构产品、检索投毒和排名提升，但未系统比较在
Which Model Is Actually Serving You? IRIS: Budgeted Black-Box Auditing of Model Substitution and Routing Dilution in LLM Gateways
商业大语言模型（LLM）网关作为用户与托管模型之间的中介，用户期望调用的是广告中宣称的模型。然而，实际后端可能被替换为更便宜的模型（完全替换），或者仅将部分请求（比例ε）路由至宣称模型而其余请求使用其他模型（路由稀释）。现有黑盒审计方法通常
GPE: Evaluating Robust Evidence Aggregation for Fact Verification under Controllable GEO-Style Poisoning
该论文关注大型语言模型（LLM）在依赖检索工具获取最新信息时面临的新攻击面：攻击者可通过操纵检索文档来影响模型输出。随着生成式引擎优化（Generative Engine Optimization）的发展，特定内容更易被检索、引用和采纳，放
Security Vulnerability Patterns in AI-Generated Code: A Cross-Model Comparative Study
本研究针对基于大型语言模型（LLM）的代码生成工具（如ChatGPT、Microsoft Copilot、Google Gemini）在自动化脚本编写中引入的安全风险进行了跨模型比较分析。研究通过相同的提示词从三个模型收集了针对三个自动化领
HijackKV: New Threat in Position-Independent KV Cache Reuse
本文揭示了大型语言模型（LLM）中位置无关KV缓存重用机制引入的一种新安全威胁——KV缓存劫持（KV Cache Hijacking）。传统的基于前缀的KV缓存重用精确匹配token和位置，缓存命中率低。为提升效率，近期系统优化提出位置无关
ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
多智能体LLM应用通常由规划器、工作智能体、验证器和合成器按链式顺序调用，每个智能体之间的通道是未被监控的通信路径，攻击者可以通过这些通道注入恶意指令（例如提示注入、工具投毒）。现有防御（例如IBProtector、Llama Guard、
JailMeter: An Evidence-Based Evaluation Framework for Jailbreak Attacks on Large Language Models
本文提出 JailMeter，一个基于证据的越狱攻击评估框架，旨在解决当前大语言模型越狱攻击评估中标准不一致、方法不统一导致攻击成功率估计不可靠的问题。受信息瓶颈理论启发，JailMeter 采用双反馈优化机制，首先过滤模型响应中的越狱噪声
Hollow-LLM Attack: Computationally Trivial Weights in Zero-Knowledge Verification of LLM Inference.
本文提出了一种针对LLM推理零知识证明验证的新型攻击——Hollow-LLM攻击。在零知识证明（ZKP）场景中，验证者通常需要检查证明者是否基于正确权重执行了推理，但本文发现攻击者可以构造一类“计算上琐碎”的权重，即权重值极小或特定模式，使
Is External Database Protection Static in Retrieval-Augmented Generation? Rethinking Privacy Preservation under Dynamic Queries
检索增强生成（RAG）通过外部文档检索增强大型语言模型的能力，但检索到的上下文可能泄露敏感信息。现有隐私保护方法通常基于文档级静态风险假设，即认为所有检索文档具有相同的隐私泄露风险。然而，这一假设忽略了RAG的一个基本特征：文档的隐私风险高
Context Contamination in LLM Analysis of Network Security Logs: Poison with Passive Prompt Injection and Mitigation Evaluation
该论文研究了大型语言模型（LLM）在安全运营中心（SOC）日志分析任务中的安全漏洞。作者指出，LLM 在分析网络日志时，会将日志内容作为自然语言上下文处理，这引入了一种关键威胁：攻击者可以在日志生成字段中嵌入提示注入载荷，这些载荷持久化存储
PVDetector: Detecting Prompt Injection Attacks on Purpose-Specific LLM Agents through Policy-Violation Concept Analysis
随着大型语言模型（LLM）被越来越多地部署为针对特定目的智能代理（如客服、代码生成），它们不仅要遵守通用安全护栏，还需遵循针对其角色设计的特定目的限制。这些额外限制扩大了攻击面，特别是提示注入（PI）攻击。现有的检测方法主要依赖输入-输出模
Multi-Agent Firewall Architecture for Privacy Protection of Sensitive Data in Interactions with Language Models
本文提出了一种面向大型语言模型（LLM）交互的开源、面向用户的防火墙架构，旨在保护敏感数据的隐私。研究背景是LLM在成为高效生产力工具的同时，其集成到工作流中可能带来数据泄露等重大风险。核心问题是：如何在不影响可用性的前提下，对基于Web和
Large Language Models (LLMs) and Generative AI in Cybersecurity and Privacy: A Survey of Dual-Use Risks, AI-Generated Malware, Explainability, and Defensive Strategies
该论文是一篇关于大语言模型（LLMs）和生成式AI（GenAI）在网络安全与隐私领域中双用途风险的综述。研究背景指出，到2025年LLM生成的恶意软件已占检测威胁的50%，而2021年仅占2%，表明AI驱动的攻击自动化正在飞速发展。论文通过
SecAlign: Defending Against Prompt Injection with Preference Optimization.
本文提出一种基于偏好优化的防御方法 SecAlign，用于缓解大型语言模型（LLM）面临的提示注入攻击。在 LLM 与外部数据源（如用户文档、网络检索结果、API 返回等）交互时，攻击者可将恶意提示注入这些外部内容，覆盖系统原有指令并执行恶
Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring
本文提出了一种针对大型语言模型（LLM）及智能体系统中防护栏（guardrail）的黑盒侦察方法。在现实应用中，LLM常配备防护栏系统以检测并阻止恶意指令。然而，在进行黑盒对抗模拟时，研究人员难以区分防护栏拦截与LLM自身拒绝响应（LLM
Black-Box Inference of LLM Architectural Properties with Restrictive API Access
这篇论文研究了在API访问受到严格限制的情况下，如何推断大语言模型（LLM）的底层架构属性。当前大多数商业LLM供应商不再公开模型架构细节，且API只返回每个解码token的单一logit值，不再提供logit偏置功能。作者提出了Night
A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems
本文对大型语言模型（LLM）的系统化安全性研究进行了综述，创新性地从生命周期和应用栈视角分析漏洞。研究指出，LLM已从单纯的文本生成器演变为嵌入检索管道、企业助手、编码环境、机器人系统、安全操作工作流和自主代理的复杂系统，能够读取私有数据、
An Empirical Study of Security Calibration in Large Language Models for Code
大型语言模型（LLM）正在迅速改变软件开发，但其在安全关键场景中的应用引发了一个关键问题：模型是否知道其生成的代码何时不安全？这种属性被称为校准（calibration），衡量模型的置信度是否与其输出的真实正确性一致。本文首次对LLM生成代