Prompt Injection Detection for Email Agents Through Attack Chain Modeling
该论文研究的是 LLM 邮件助手面临的一类现实威胁：间接提示注入。由于邮件助手会从不可信的邮件正文、引用内容或历史线程中检索文本并放入模型上下文，攻击者只需在邮件中埋入指令，就可能影响助手后续的工具调用行为（如发送、转发、读取、修改日程等）
#ai-security
共收录 102 条相关情报。
← 返回所有主题T-Backdoor: Exploiting Temporal Redundancy in Neuromorphic Data for Spike-preserving Backdoor Attacks on SNNs
该论文聚焦脉冲神经网络（SNN）中的后门攻击这一相对薄弱的研究方向。SNN 与常规深度神经网络不同，其信息以离散脉冲的时序形式编码，因此攻击面不仅包含空间维度，还包含时间维度。作者指出，已有 SNN 后门工作大多依赖时空联合触发器，这类触发
The Tokens Remember: When Tokenization Bypasses Knowledge Editing and Unlearning
该论文研究开放权重大模型时代的一个关键安全问题：模型编辑（model editing）与机器遗忘（machine unlearning）被广泛用于在不重新训练的前提下修改或删除模型中的特定知识，以支撑合规删除（如被遗忘权）和有害内容抑制。但
Your Model Is Leaking: Covert Information Transfer through LLM Residual Streams
该论文揭示了一种针对大语言模型（LLM）部署环境的新型隐蔽信道：在受限或气隙（air-gapped）网络中，运行时组件可被攻陷并滥用。由于隐私敏感机构常需将模型中间激活（如残差流）作为诊断产物导出到外部，攻击者可在推理过程中通过被篡改的运行
Extracting CNNs in the Unknown-Architecture and Feedback-Agnostic Setting
该论文研究卷积神经网络（CNN）的密码分析式模型提取（cryptanalytic extraction），即在无法接触模型内部实现的前提下，仅通过黑盒查询反推网络结构与权重参数。此前的同类攻击普遍假设目标网络的架构已知，攻击目标仅限于恢复模
When Clients Are Orchestrated: Strategic Gradient Manipulation to Defeat Federated Learning Servers with Efficient Defense
该论文关注联邦学习(FL)中一类被现有防御忽视的威胁模型。传统 FL 防御普遍假设攻击者是静态的、彼此独立的(例如固定比例的投毒客户端或互不配合的恶意节点),因此可以依靠单客户端行为异常或鲁棒聚合规则将其过滤。作者指出这一假设可被"动态自适
LoRango: It Takes Two LoRAs to Unlock Hidden Behaviors in Diffusion Models
该论文研究文本到图像扩散模型（如 Stable Diffusion）中多 LoRA 适配器组合加载时的安全问题。背景是：用户常把多个低秩适配（LoRA）叠加使用，以实现不同主体、风格与视觉属性的个性化定制，而当前的安全审查通常只逐个检查单个
Benchmarking Neural Defend ARCAS 1B: A Foundational Multimodal Deepfake Detection Model
该论文对多模态深度伪造检测基础模型 Neural Defend ARCAS 1B 开展系统性基准评测，核心问题是：AI 生成图像技术的演进速度快于针对特定基准的检测器评测节奏，因此单一数据集上的一个分数无法完整刻画模型的泛化能力。作者在不对
The Price of Safety: Benign-Case Utility and Token Overhead of Memory-Poisoning Defenses in LLM Agents
该论文研究了一个在 LLM 智能体安全中常被忽视的问题：记忆投毒防御在【良性流量】下的实用性与 token 开销。作者指出，现有记忆投毒防御通常只按“能否阻止攻击”来评估，但真实线上流量极少是恶意的；防御的实现成本却是每一次交互都要支付，而
End-to-End Hard-Label Cryptanalytic Model Extraction Using Efficient Sign Recovery
该论文关注深度学习模型的知识产权安全问题。深度神经网络(DNN)的训练参数被视为有价值的资产, 近年来在 IACR 系列会议上, 仅通过查询模型接口来还原参数(模型提取/模型窃取)的攻击受到广泛研究。其中最具挑战性的设置是「硬标签」(har
Inference-Engine Fingerprinting Attacks are Practical: Exploring Model-Driven Environmental Discovery, Exploitation, and Escape
本文关注一个常被沙箱讨论忽视的攻击面：推理引擎本身。背景是前沿模型已经表现出利用复杂软件漏洞的能力，OpenAI 与 Anthropic 近期的沙箱逃逸事件说明这一风险并非理论推演。然而业界在讨论如何隔离推理栈组件时，注意力往往集中在网络代
"Your Robot Was Trained on a Lie": Collision Mesh Poisoning Attacks on Robotic Manipulation
本研究聚焦于「基于学习的机器人操作」（learning-enabled robotic manipulation）在真实部署前普遍依赖机器人仿真器进行策略训练与评估这一流程。作者首先指出，现有3D资产中存在一种被合法且广泛使用的「视觉—碰撞
PentestChain: A Cost-Aware, MCP-Orchestrated Framework for Automated Penetration Testing with Free-Tier LLMs
该论文提出 PentestChain，一个面向自动化渗透测试的十阶段框架，核心动机是解决 AI 驱动渗透测试的成本可及性问题。作者指出，此前基于 GPT-4 等前沿闭源模型（premium frontier models）的自动化渗透测试虽
What Breaks Local Watermarks? A Robustness Benchmark for Local Invisible Image Watermarking
局部图像水印（local watermarking）与传统的全图水印不同，它只把不可见信号嵌入到图像的特定区域内，而不是平铺到整幅图像上，因此可以从某个目标物体或指定区域中恢复出载荷（payload）并给出该区域的大致定位（localiza
Permutation-Based Stegomalware in Large Language Models: Threats and Countermeasures
该论文研究的是大语言模型（LLM）供应链中的隐写恶意软件（stegomalware）威胁：由于 LLM 训练成本极高、生态高度依赖第三方开源权重，攻击者可以把恶意负载直接编码进模型权重文件中，从而在模型分发环节完成投递。此前的相关工作曾利用
Understanding the Security Boundary of Obfuscation-based On-Device LLM Protection
该论文研究设备端大语言模型（LLM）知识产权保护中的安全边界问题。背景上，可信执行环境（TEE）为在本地设备上保护 LLM 权重提供了有前景的隔离机制，但 TEE 本身存在计算瓶颈。现有 TEE 屏蔽式 LLM 划分（TSLP）方法通过高效
Audio Deepfake Detection Using Temporal Coherence Analysis
该论文研究的是 AI 生成音频（俗称音频 deepfake）的检测问题。研究背景是：随着语音合成与音乐生成模型能力快速提升，合成音频大量出现，带来语音克隆诈骗、信息完整性受损、合成音乐版权归属争议等现实风险，因此需要可靠、可部署的真实性判别
NERVE Attacks: Breaking AI-Powered Brain-Computer Interfaces
该论文聚焦于 AI 与脑机接口 (BCI) 融合后新出现的、此前缺乏系统研究的攻击面。随着 AI 被广泛嵌入以人为中心的系统，神经信号与物理执行设备之间形成了一条新的信任链：一端是采集到的脑电等神经生理信号，另一端是假肢、外骨骼、轮椅、神经
DRIFT: Removing Diffusion Watermarks by Deflecting the Generative Trajectory
扩散模型水印技术通过在生成过程中嵌入可验证信号，并在验证时恢复与生成轨迹相关的证据来确认水印，因此对常规的像素空间扰动具有较强的鲁棒性。已有的水印去除攻击要么沿确定性轨迹执行再扩散，但这类轨迹往往保留了含有水印的潜在结构；要么需要对每张图像
Detokenization Leaks: Reconstructing Local LLM Outputs From Cache Traces
本文提出了一种针对本地部署大语言模型(LLM)的侧信道攻击方法，通过观察 CPU 缓存活动来重建模型生成的文本。与以往依赖特定部署条件(如共享数据内存、CPU offloading 或 Mixture-of-Experts 架构)的攻击不同