NeuronGuard: Robust LLM Safety Alignment via Ablation-Aware Safety Signal Redistribution
大型语言模型（LLM）的安全对齐在面对日益增长的攻击手段时仍然脆弱。越狱攻击通过精心设计的提示绕过安全机制，而神经元级攻击则在部署后直接剪除对安全至关重要的神经元。这两类攻击的共同弱点是：安全相关信息集中于稀疏的神经元子集。为此，本文提出
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题STAIN-FL: Stealthy Targeted Attack Injection with Contextual Triggers in Federated Learning
联邦学习（Federated Learning, FL）允许多个机构在不共享原始数据的情况下协作训练视频异常检测模型，但服务器端对客户端训练过程的可见性有限，使得被攻陷的客户端能够通过恶意模型更新注入后门。现有攻击通常依赖显式、高强度的触发
Semantic Overlays: Mitigating Prompt Injection with Annotations Beyond Tokens and Steering Vectors
本文针对大语言模型（LLM）面临的提示注入（Prompt Injection）攻击提出了一种新的防御思路。研究指出，当前模型仅能感知输入的令牌（tokens），虽然服务端清楚每个文本片段属于用户输入、工具输出还是指令，但模型自身却需要自行追
Beyond the Mandate: A Systematic Security Analysis of the Agent Payments Protocol (AP2)
该论文对Google提出的Agent支付协议(AP2) v0.2进行了系统性的安全分析。AP2允许由大语言模型驱动的购物代理代表用户授权和执行支付，其签名的结账和支付授权用于保护签名后交易数据的完整性。然而，交易在授权前由代理交互和外部输入
TrustShiftProbe: Characterizing, Benchmarking, and Defending Staged Trust Attacks on MCP Servers
本文提出并系统研究了模型上下文协议（MCP）服务器端的一种新型时间性信任攻击——TrustShift。MCP 已成为大语言模型（LLM）智能体连接外部工具后端的标准协议层，但其开放性引入了严重的服务器端威胁。TrustShift 攻击的核心
Adapter-Based Few-Shot Continual Learning for Malicious Packet Recognition
本文针对恶意流量识别中模型需要不断适应新型恶意软件变体、但传统重新训练成本高昂且易发生灾难性遗忘的问题，研究了小样本类增量学习（FSCIL）这一特定设置。在该设置下，模型需要在仅拥有少量标注样本的情况下学习新增的恶意软件类别，同时不遗忘已学
InjecMEM: Memory Injection Attack on LLM Agent Memory Systems
大型语言模型（LLM）代理系统正越来越多地集成记忆子系统，以实现持久化的个性化和交互连续性。然而，这一便捷功能可能引入新的安全漏洞。本文提出了一种名为 InjecMEM 的新型记忆注入攻击范式，攻击者仅需一次交互（无需对记忆存储进行读取或编
Adversarial Entropy Inflation Against Gumbel-Based Inference Verification
本文针对基于 Gumbel 采样的推理验证机制进行了对抗性分析。该验证机制旨在通过只允许那些可能源于 GPU 正常非确定性的 token 选择，来限制大语言模型（LLM）的权重窃取，并在良性提示流量下报告对隐写术攻击者实现超过 200 倍的
FIDES: A Concordance Protocol for LLM-Generated Trading Strategies
该论文提出FIDES，一个用于评估LLM生成交易策略一致性的测量协议。LLM在回答交易策略请求时，通常会同时返回自然语言理由、可执行代码以及回测业绩三个产物，但少有研究验证三者是否一致。FIDES将这三个产物视为三个需要相互印证的视图，而非
Safety Hacking in Constrained Best-of-$N$ Inference-time Scaling
本文研究推理时扩展（Inference-time Scaling）中安全模型与奖励模型组合产生的安全漏洞。典型推理时流水线会采样多个候选输出，通过一个学习的安全代理过滤掉不安全的输出，然后从剩余“代理可行”集合中选择学习奖励最高的输出。作者
TEE-X: TEE-aware Acceleration Framework for Large Vision Models at the Edge
本文提出 TEE-X，一个面向可信执行环境（TEE）的加速框架，旨在解决大型视觉模型（如 Vision Transformer, ViT）在边缘设备上部署时面临的内存限制和计算延迟问题。研究背景是：机器学习模型，尤其是视觉应用，容易受到多种
KONTOGRAPH: Verified Point-in-Time Feature Consistency and Amortised Explanation for Real-Time Anti-Money Laundering under a 200 ms Decision Budget
欧盟法规 (EU) 2024/886 要求欧洲支付服务商在十秒内完成欧元信用转账结算，且全天候运行，这彻底取消了传统反洗钱（AML）分析所依赖的隔夜批处理窗口，也消除了结算延迟带来的追回可能，迫使检测、解释与决策必须在个位数秒级时间内完成。
On Predicting Vulnerability Severity Using In-Context Learning: An Industrial Case Study
本文是一篇来自工业界的案例研究，旨在解决软件漏洞严重性评估的可扩展性与隐私问题。当前安全分析师手动分配CVSS评分的方式难以应对漏洞数量增长，且传统方法常依赖云端LLM服务，存在代码片段泄露的机密性风险。为此，作者提出利用本地可部署的开源L
TessIndex: Capability Verified Identity System for the Agent Economy
本文针对智能体经济（Agent Economy）快速演进背景下，现有软件系统的身份与信任基础设施缺失问题展开研究。传统系统以人类用户为核心决策者，而新一代具备自主能力的AI智能体能够将高层目标自动拆解为结构化任务，并编排工具、服务与子智能体
Breaking the Assumptions: Auditing Input-Side Jailbreak Defenses Against Semantic Attacks
本文对本地部署大语言模型（LLM）的输入侧越狱防御机制进行了系统性审计。研究背景是：通过Ollama等推理引擎本地部署的LLM，缺乏API服务模型所具备的内容审核与滥用检测机制，因此模型安全性完全依赖于防御手段，而防御手段的有效性取决于其设
ExplainGuard: A Zero Trust Framework for Post-Hoc Explanation Integrity Guarantees in Blackbox XAI Models
随着机器学习模型在高风险场景中的广泛部署，可解释人工智能（XAI）方法（如SHAP和LIME）已成为满足监管合规和建立信任的关键工具。然而，当前的黑盒模型审计范式隐含地依赖一条“信任链”，即默认第三方审计人员是可信的。近期研究表明，这一假设
SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation
该论文聚焦于AI智能体面临的首要安全威胁——提示注入（Prompt Injection）。当智能体访问网站、文件或邮件等外部数据时，攻击者可在数据中嵌入恶意指令（如“忽略之前所有指令并执行攻击者任务”），从而操纵智能体行为。现有防御方法通过
Utility Under Attack: Agent Memory Poisoning and the Limits of Content Screening and Provenance Ranking
本文研究了大型语言模型（LLM）智能体中持久记忆机制的安全漏洞：一旦虚假信息被写入记忆，它会在未来会话中被检索，导致错误持久化。作者在LongMemEval语料库中通过单次注入、无需任何指令或触发器，仅用1.2%的明显虚假断言即可将模型准确
AID-Guard: Stateful Authorization for Delegated Agent Effects
本文提出了一种名为 AID-Guard 的状态化授权闭合协议，用于解决工具型 AI 代理在委派任务时出现的授权与效果不一致问题。传统授权机制通常在请求准入时一次性完成，但代理在执行过程中，提供方状态、投递、重试和恢复等阶段会不断变化，导致已
ClawSentry: A Progressive Multi-Tier Security Monitor for Safeguarding Autonomous LLM Agents
本文提出 ClawSentry，一个面向自主 LLM 智能体的渐进式多层安全监控网关。研究背景是：当 LLM 智能体从简单对话扩展到执行代码、读取本地文件、编排外部工具时，单个被恶意第三方技能劫持的智能体可能导致数据泄露、权限提升或级联破坏