Be Kind, Rewrite: Benign Projections via Rewriting Defend Against LLM Data Poisoning Attacks
大语言模型（LLM）极易受到后门攻击（BA），攻击者通过向训练样本中注入包含触发器的有害内容来植入后门。现有防御方法在广泛测试中效果不佳。本文探索利用LLM自身的重写能力作为主动防御手段，提出了一种名为“开放书签良性重写”（OBBR）的方法
#LLM
共收录 2152 条相关情报。
← 返回所有主题Agent Security is a Systems Problem
该论文提出，智能体（agent）的安全性必须被当作一个系统问题来处理，而不仅仅依赖AI模型本身的鲁棒性。作者认为，驱动智能体的AI模型应当被视为不可信组件，安全不变性必须在系统层面强制实施。当前社区主流观点侧重于提升模型鲁棒性，但这远远不够
Surviving the Unseen: Predictive Defense for Novel Multi-Turn Multimodal Attacks
本文针对多模态大语言模型（MLLMs）在自主智能体工作流中面临的新型多轮多模态攻击的安全问题。传统静态防御机制受限于马尔可夫性质，逐轮独立评估输入，无法检测跨对话轨迹的累积恶意注入。为此，作者将安全验证形式化为动态生存预测与轨迹动力学问题，
Overeager Coding Agents: Measuring Out-of-Scope Actions on Benign Tasks
该论文研究了编码代理（coding agents）在执行良性用户请求时可能产生“过度动作”（overeager actions）的问题。编码代理通常被赋予shell、文件、网络等高级权限，当用户提出一个看似无害的任务（如修改代码）时，代理有
Monitoring the Internal Monologue: Probe Trajectories Reveal Reasoning Dynamics
本文针对大型推理模型（LRMs）的安全监控问题展开研究。LRMs通过链式思维（Chain of Thought, CoT）推理过程提供了新的安全监控机会，但CoT并不总是忠实于模型的最终输出，从而削弱了其作为监控工具的可靠性。为此，作者探索
Prompt2Fingerprint: Plug-and-Play LLM Fingerprinting via Text-to-Weight Generation
该论文提出 Prompt2Fingerprint (P2F)，一种用于大型语言模型（LLM）指纹识别的即插即拔框架。随着LLM的广泛部署和再分发，模型来源追踪成为关键挑战。现有的主动指纹识别方法通过微调嵌入身份信号，虽然准确率高且鲁棒，但存
OEP: Poisoning Self-Evolving LLM Agents via Locally Correct but Non-Transferable Experiences
该论文研究了具有记忆增强和自我进化能力的大型语言模型（LLM）智能体的安全风险。现有针对智能体记忆的攻击通常需要高权限或包含明显恶意内容，容易被安全过滤器检测。作者提出了一种名为"Obsessive Experience Poisoning
It Takes Two: Complementary Self-Distillation for Contextual Integrity in LLMs
本文针对大语言模型（LLM）在作为个人代理处理敏感工作流时面临的上下文完整性（Contextual Integrity, CI）问题，提出了一种互补自蒸馏框架SELFCI。CI定义隐私不仅为隐藏信息，而是根据给定上下文的规范来管理信息流动。
Prompts Don't Protect: Architectural Enforcement via MCP Proxy for LLM Tool Access Control
本文研究了大型语言模型（LLM）作为自主代理时，其工具调用权限控制的安全缺陷。作者指出，当未授权工具出现在代理的上下文窗口中时，即使模型被明确指示禁止调用，在对抗性场景下仍可能被选中。现有基于提示（prompt）的约束方法效果有限，只能将未
Detecting Voice Cloning Attacks via Timbre Watermarking.
该论文提出了一种名为“音色水印”（Timbre Watermarking）的防御方法，用于检测语音克隆攻击。随着语音克隆技术的进步，攻击者可能利用公开的语音数据非法模仿特定人物的音色。为此，作者设计了一个端到端的防御框架，核心思想是将水印嵌
Acoustic Interference: A New Paradigm Weaponizing Acoustic Latent Semantic for Universal Jailbreak against Large Audio Language Models
本文提出了一种针对大型音频语言模型（LALMs）的新型越狱攻击范式，称为声学干扰攻击（AIA）。传统方法通常将音频作为恶意负载的载体，通过语义优化、声学参数控制或添加扰动来嵌入有害内容。而本文作者发现，LALM的安全对齐可以被特定的声学潜在
An Empirical Study of Privacy Leakage Chains via Prompt Injection in Black-Box Chatbot Environments
本文针对基于大型语言模型（LLM）的聊天机器人代理，研究了一种通过间接提示注入实现隐私泄露的攻击链。研究背景是：LLM代理通过结合自然语言推理和外部工具（如网页浏览）来处理用户请求，这提升了可用性，但也带来了安全风险，因为不可信的外部内容可
LivePI: More Realistic Benchmarking of Agents Against Indirect Prompt Injectio
该论文提出了 LivePI（Live Prompt Injection），一个针对 AI agent 间接提示注入风险的基准测试框架。随着 OpenClaw 等 AI agent 被部署在本地工作流中并访问外部工具，间接提示注入（IPI）风
Babel: Jailbreaking Safety Attention via Obfuscation Distribution Optimized Sampling
本文发现大型语言模型（LLM）的安全对齐机制存在固有脆弱性：模型仅依赖少量稀疏分布的注意力头进行安全监控，导致大部分表示空间缺乏有效监管。作者通过数学建模形式化了文本混淆的有效边界，并利用该边界设计了一种高效的黑盒越狱攻击框架Babel。该
From Detection to Response: A Deep Learning and Retrieval-Augmented Generation Framework for Network Intrusion Mitigation
该论文提出一个端到端统一框架，弥合了威胁检测与可操作响应之间的鸿沟。系统由两个紧密耦合的阶段组成：首先，一个由三个独立训练的二元深度神经网络（DNN）组成的集成模型对网络流量进行分类，区分良性、拒绝服务（DoS）和分布式拒绝服务（DDoS）
ESLD (External Surrogate Latent Defense): A Latent-Space Architecture for Faster, Stronger Prompt-Injection Defense
该论文针对现代AI助手面临的提示注入（prompt injection）威胁，提出了一种名为ESLD（External Surrogate Latent Defense）的潜在空间防御架构。在智能体（agent）场景中，语言模型需要从多个来
Explainable Machine Learning for Phishing Detection on Heterogeneous Datasets with MCP-Enabled Deployment
该论文针对钓鱼攻击检测问题，系统评估了多种机器学习算法在不同来源的异构数据集上的表现。研究使用了公开的UCI数据集、通过EvilGinx和Zphisher等工具生成的模拟数据集以及AI生成的数据集。实验中比较了经典模型（Logistic R
DMN: A Compositional Framework for Jailbreaking Multimodal LLMs with Multi-Image Inputs
多模态大语言模型（MLLMs）在接收多图像输入时存在安全隐患。现有越狱方法仅使用单张图像，限制了攻击空间：无法将有害请求分布到多张图像、携带丰富信息或利用额外视觉推理任务分散模型注意力。本文提出一种组合式越狱框架DMN，通过分布式指令（Di
Speed Kills: Exploring Confused Deputy Attacks Through Edge AI Accelerators
本文首次系统性地研究了边缘AI加速器（AIA）中的混淆代理攻击（Confused Deputy Attacks, CDA）。AIA是专用硬件（如TPU），用于高效执行AI应用和端侧推理。随着AI需求增长，AIA被广泛部署在边缘/嵌入式设备上
AI Agents May Always Fall for Prompt Injections
本文聚焦于AI代理中最关键的提示注入漏洞。作者首先指出现有的主流防御策略（数据-指令分离）存在根本性缺陷：它既无法检测通过上下文操纵（如误导性背景信息或角色扮演）发起的攻击，又会降低代理在正常场景下做出符合上下文的适当行为的能力。为了更系统