EVOMAL: Self-Poisoning in Self-Evolving Coding Agents
本文由多所高校和机构的研究人员提出，关注自我进化的大语言模型（LLM）编码代理的安全漏洞。此类代理能够从共享技能库中检索示例，并通过模仿这些示例来自动编写新技能。研究人员发现，这一自我进化过程中存在一种可被利用的“自我投毒”（self-po
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题MeMark: Membrane-Space Watermarking for Spiking Neural Networks
本文提出 MeMark，一种面向脉冲神经网络（SNN）模型水印的新方法，专门针对模型检查点复用（checkpoint-reuse）场景。现有 SNN 水印通常将标识嵌入输出层，攻击者只需替换输出头即可移除验证证据。MeMark 将多比特标识
Pointing the Way, Hiding the Destination: Practical Private Dense Retrieval at Scale
本文提出了一种实用的私有密集检索方案，用于托管式检索增强生成（RAG）和语义搜索场景。研究背景是：用户希望查询提供方持有的有价值的语料库，但存在两个相互矛盾的需求：一方面需要隐藏用户的查询和最终选择的结果，另一方面又只能向用户展示其被授权访
NeuronFuzz: Safety Neuron Guided Fuzzing for LLM Safety Evaluation
论文提出 NeuronFuzz，一个面向大语言模型（LLM）安全评估的白盒模糊测试框架。现有自动化越狱测试方法主要依赖响应级反馈：每个候选提示都需要目标模型生成完整回复才能评估攻击效果，这不仅计算开销大，而且在强对齐模型上反馈极其稀疏——大
AI Slop and Hallucinations in Vulnerability Assessment: A Survey on Reasoning Failures and Trustworthy Mitigation
本文是一篇针对大语言模型（LLM）在漏洞评估中产生“AI 垃圾内容”（AI Slop）及幻觉问题的系统性综述。研究背景是：LLM 被广泛集成到网络安全漏洞评估流程中，显著提升了自动化水平，但同时也引发了可信性危机——模型会生成幻觉漏洞、看似
MMJailBench: A Factorized Benchmark for Disentangling Multimodal Jailbreak Vulnerabilities
MMJailBench 是一个用于解耦多模态大语言模型（MLLM）越狱漏洞成因的因子化基准。现有越狱基准通常将有害意图、提示框架、视觉语义和指令载体混合在单个越狱样例中，导致无法准确定位漏洞的具体来源。MMJailBench 通过系统化地变
MACGen: Toward Functionally Correct and Secure Code Generation via Multi-Agent Collaboration
本文针对大型语言模型（LLM）在代码生成任务中虽然能实现功能正确性，却常常产生包含安全漏洞的代码这一问题，提出了一种基于多智能体协作的代码生成框架 MACGen。作者指出，安全代码生成本质上是一个多目标优化问题，需要同时兼顾功能正确性与安全
Refusal geometry reflects refusal training: diverse refusal prefixes can raise stable rank and weaken refusal vector ablation attacks
本文研究大型语言模型拒绝行为的安全机制。背景是：为抵御越狱攻击，模型经过拒绝训练后会对不安全请求产生拒绝响应。已有研究发现拒绝行为往往集中于激活空间中一个低维子空间，通过向量消融即可解除拒绝，但低维结构形成的成因尚不明朗。作者以OLMo-2
LLMscope: Extracting LLM Assets from Edge AI Chips via Optical Probing
本文研究了大语言模型（LLM）推理迁移到边缘AI加速器后引入的新型物理安全威胁。在执行推理时，模型参数和中间推理状态会被反复加载到芯片上处理，这使得它们容易受到物理侧信道攻击。作者提出并演示了一种基于激光电压成像（Laser Voltage
ADeptS-Bench: Measuring the Trustworthiness of Computer Use Agents Across Devices
该论文提出了 ADeptS-Bench，一个针对计算机使用代理（CUA）的可信度评估基准。CUA 被越来越广泛地用于代表用户操作移动和桌面应用，但现有基准未能全面评估其在视觉界面中安全交互、处理模糊指令的能力。ADeptS-Bench 基于
FuzzingBrain-Bench V1: Evaluating Open-Ended Bug Discovery by LLMs
大型语言模型（LLM）在软件漏洞发现中的应用日益受到关注，但现有评估基准通常要求模型生成针对预定义目标的 PoC 输入，这种方式可能忽略模型发现的、与预期目标不一致但确属有效的崩溃，从而低估模型真实能力。针对这一问题，本文提出了 Fuzzi
Auto-Policy, not Auto-Skill: Compiled Agent Skills for the Physical World
本文指出当前自我进化的技能库（如 AutoSkills、Hermes Agent）在自动生成编排建议时仅关注效率提升，而忽略了安全性的关键缺口。作者认为，技能（Skill）描述的是代理应如何行为，而策略（Policy）决定了哪些行为被允许成
StepGuard: Learning Step-Level Guardrails with Scalable Supervision and Safety-Utility Balancing
StepGuard 提出了一种面向 LLM 智能体的步骤级防护模型，专注于在执行工具调用前检查每一步动作的安全性。现有防护机制通常对已完成的完整轨迹进行审查，缺少对执行前步骤级动作的监控，导致恶意或危险操作可能在执行后才被发现。StepGu
Not All Tokens Are Equal: Region-Aware Consistency Repair of Backdoors in MLLMs
多模态大语言模型（MLLM）在用户端应用中日益普及，但其构建流程可能引入后门风险：触发器可能位于图像、文本或两者中。现有面向传统分类器的模型级后门移除方法对 MLLM 效果有限，而针对 MLLM 的防御大多在推理时进行，通过过滤可疑输入来缓
Evaluating and Preventing Security Smells in AI-Generated Ansible Code
本文研究了AI编程助手生成的基础设施即代码（IaC）中存在的安全问题。以往研究大多关注AI生成代码的功能正确性，但对其安全性关注不足。作者指出，如果基础设施代码存在安全缺陷，会直接传播到部署的系统，导致不可信的基础设施。论文评估了16个AI
Poisoning Agentic Alpha: Adversarial Vulnerabilities Across Roles and Architectures in Multi-Agent Trading Systems
该论文系统研究了基于大语言模型（LLM）的多智能体交易系统中的对抗性漏洞。这类系统由多个专业智能体通过结构化通信协作生成交易决策，正从研究原型快速走向控制真实资产的实时部署。然而，智能体间的通信在提升效率的同时也引入了攻击面：一个被污染的信
What Guides the Agent? Adjudicating Unauthorized Behavior via Localizing Behavior-Guiding Instructions
本文研究了大语言模型（LLM）智能体在集成外部资源后所面临的安全威胁。由于智能体依赖统一的自然语言上下文通道进行推理，不可信的外部数据（如网页内容、工具返回结果）可能被动态解析为行为引导指令，从而劫持智能体的决策过程，实现间接提示注入或工具
WebMCP-Phalanx: Enforcing and Characterizing Trust Boundaries for Browser-Integrated LLM Agents
本文针对新兴的 W3C WebMCP 提案在浏览器环境中集成大语言模型（LLM）代理时引入的安全信任边界问题展开研究。WebMCP 允许网页向 LLM 代理暴露可调用的工具，但在多参与者 Web 环境下，现有以同源策略（SOP）为核心的浏览
Rules Before Oracles: Auditable, User-Configurable Argument Selection for Deliberative Polling
本文研究审议性民意调查（deliberative poll）中参数选择机制的可审计性问题。当提交的论证数量超出任何个人的阅读能力时，必须有一种机制决定每个选民看到哪些论点，这一过程实际上掌握了大部分决策权。现有实践常常依赖不透明的学习型排名
RAGSentinel: Certifiable Geometric Consensus for Robust Retrieval-Augmented Generation
检索增强生成（RAG）通过引入外部文档来提升大语言模型的事实性，但同时也引入了新的安全攻击面：恶意攻击者可以向知识库注入经过精心构造的对抗性文档，这些文档一旦被检索并进入上下文窗口，就可能引导模型输出特定的错误答案。现有的后检索防御手段，例