Securing the AI Agent: A Unified Framework for Multi-Layer Agent Red Teaming
本论文提出了一个名为 AI-Infra-Guard 的开源框架，旨在解决 AI 智能体（Agent）安全评估中缺乏统一工具的问题。随着开源 AI 基础设施（如模型服务引擎、智能体平台、模型上下文协议 MCP 生态以及语言模型本身）的快速发展
#LLM
共收录 2152 条相关情报。
← 返回所有主题Probe Choice Changes Canary-Memorization Verdicts: Three Post-Hoc Disagreement Case Studies in a Text-Dominant LoRA-Tuned Autoregressive Testbed
该论文针对大语言模型（LLM）记忆评估中的探针选择问题展开研究。作者使用固定前缀窗口的mean-NLL记忆探针（窗口大小K=20）对Qwen2.5-VL-7B模型的金丝雀测试床进行审计，发现了三个典型的事后分歧案例，揭示了探针窗口设置对记忆
Ligetron: Lightweight Scalable End-to-End Zero-Knowledge Proofs Post-Quantum ZK-SNARKs on a Browser.
这篇论文提出了 Ligetron，一个轻量级、可扩展的端到端零知识证明系统，实现了后量子安全的 ZK-SNARK，并能在浏览器中运行。研究背景是：零知识证明是密码学基石，区块链等场景需要非交互式、简短且公开可验证的 ZK-SNARK，但现有
Certified Speculative Execution for Untrusted AI Agents
该论文针对非可信AI代理（如大型语言模型或学习策略）在硬约束序列决策系统中的计算资源分配问题，提出了一种名为“证书门控前缀接受”（Certificate-Gated Prefix Acceptance, CGPA）的认证推测执行框架。核心挑
Curvature-Guided Module Localization for Low-Rank Detoxification of Backdoored Large Language Models
本文研究了大语言模型（LLM）中的后门攻击防御问题。后门攻击通过在正常输入中嵌入隐藏触发器，使得模型在触发器存在时产生攻击者指定的恶意行为，而在无触发器时表现正常。现有防御方法通常需要重新训练整个模型或进行全局微调，成本高昂且可能破坏模型原
AI-Generated PowerShell Malware: An Experimental Framework and Dataset
本文针对生成式AI在网络安全领域带来的威胁，特别关注大型语言模型（LLM）被用于生成PowerShell恶意代码的攻击事件。作者提出了一个评估LLM生成PowerShell恶意软件的实验框架，包括一种新型动态分析沙箱，用于分析AI生成的恶意
Revocable Learned State via Process Sidecars
该论文提出了一种新的方法来实现语言模型已学习状态的“可撤回”操作，特别是在模型经过多个阶段训练（如公共技能阶段、私有记忆阶段、安全反习阶段）后，如何在不重新训练的情况下安全地移除特定记忆。作者发现，简单的任务算术（task arithmet
Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens
该论文针对类似 Claw 的 AI 智能体（如 OpenClaw）的安全问题进行了系统研究。这类智能体是始终在线的进程，持续拥有对凭证、文件、工具和外部服务的访问权限，并承担安装软件包、维护状态、调度子任务、管理 I/O 等系统级职责，因此
MESA: Prioritizing Vulnerable Communication Channels for Securing Multi-Agent Systems
本文针对多智能体系统（MAS）中智能体间通信信道面临的未知攻击面问题，提出了一种名为MESA的标签无关框架。研究背景是MAS在自动化复杂分布式工作流中日益普及，但智能体间通信链路引入的新攻击面缺乏有效防御手段。作者观察到，不同通信链路（边）
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
该论文首次系统性地探索了大型语言模型（LLM）在代码漏洞检测中受到认知启发（cognitive heuristics）影响的现象。作者设计了一个可控框架，保持代码本身不变，仅改变周围上下文来触发三种认知启发：晕轮效应（通过作者归属）、框架效
Forensic Trajectory Signatures for Agent Memory Poisoning Detection
本文提出了一种基于行为轨迹签名的LLM代理内存投毒攻击检测方法。作者发现在持久化内存投毒攻击场景下，存在一个行为不变性：在通过可观察的内存工具调用检索路由信息的架构中，成功的攻击必须依次调用 `memory_recall_fact` 和 `
Your Space is My Zone: Demystifying the Security Risks of AI-Powered Applications on Pre-Trained Model Hubs
本文首次系统地分析了托管在主流预训练模型平台（如Hugging Face）上的AI应用（AI-Apps）的安全风险。AI-Apps通过在线推理和微调服务降低了AI采用门槛，但由于开发者不可信、隔离措施薄弱和安全配置错误，引入了新的攻击面。研
Defending Against Harmful Supervision Hidden in Benign Samples
该论文针对大语言模型在微调阶段面临的新型安全威胁展开研究。现有防御机制大多假设有害监督数据以显式形式混入下游微调数据集（如直接包含恶意问答对），但攻击者可以采取更隐蔽的方式：将有害的监督信号嵌入到看似良性的任务样本中。作者提出了一种名为“E
On the Internet, Nobody Knows You're an LLM Bot: Unmasking Web Agents with Multi-Layer Fingerprinting
本文研究LLM驱动的Web Agent（基于大语言模型的自动化浏览器代理）的检测问题。自2023年以来，这类新型机器人能够自动化复杂网络任务，超越传统Selenium等工具，通过模仿人类行为甚至绕过多重反机器人机制。然而，网站管理员难以区分
Hephaestus: Toward a Cybersecurity AI Scientist
本文提出“网络安全AI科学家”（Cybersecurity AI Scientist）这一新概念，旨在解决当前网络攻防向机器速度演进但网络安全研究仍停留在人工速度的矛盾。作者指出，现有AI科学家系统（如自动论文生成、实验设计）主要适用于稳态
GoodDiffusion: Proactive Copyright Protection for Diffusion Bridge Models via Learnable Sample-specific Signatures
本文针对扩散桥模型的主动版权保护问题，提出了一种名为GoodDiffusion的防御机制。当前的主流保护方法主要分为事后归因（如数字水印和指纹）和退化防御，这些方法仅提供间接且有限的预防效果。受后门攻击机制的启发，GoodDiffusion
An Empirical Evaluation of Prompt Injection Vulnerabilities in Large Language Models Across Multilingual and Obfuscated Attack Scenarios
本论文对六种主流大语言模型（DeepSeek、GPT、Gemini、Grok、Llama 和 Qwen）在提示注入攻击下的脆弱性进行了实证评估。研究设计了包括直接提示注入和多阶段混淆攻击在内的多样化对抗性提示场景，并跨越多种语言和字符编码（
SurrogateShield: Beyond Redaction for High-Utility, Privacy-Preserving LLM Interactions
本文提出SurrogateShield，一种客户端代理框架，旨在解决用户与第三方大型语言模型（LLM）API交互时的隐私泄露问题。当用户查询包含个人可识别信息（PII）时，传统方法采用占位符删除（Placeholder Redaction）
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
该论文系统评估了大型语言模型（LLM）推理时安全防御方法的性能，填补了该领域缺乏系统比较的空白。研究涵盖了五种防御范式（无防御、静态引导、CAST、AlphaSteer、探针门控）在七个指令微调模型（参数量7-31B）上抵御五种攻击（GCG
Exploring the Cryptographic Limits of Transformer Networks
该论文研究了变压器网络（Transformer）在实现密码学函数方面的能力极限。此前的研究表明，合谋的AI智能体可以利用隐写术交换恶意信息，而变压器能否实现隐写术取决于其能否在层内实现密码学函数（从而获得无源随机性访问）。尽管已有电路复杂度