Trust but Verify? Uncovering the Security Debt of Autonomous Coding Agents
本研究针对自主编码智能体（Autonomous Coding Agents）在代码生成过程中引入的安全债务（Security Debt）进行了大规模实证分析。随着AI驱动的编码工具日益普及，它们能够自动生成并提交拉取请求（PR），但由此产生
#LLM
共收录 2152 条相关情报。
← 返回所有主题WaterMoE: Expert-Routing-based Watermarking for High Fidelity and Efficiency
本文针对大型语言模型（LLM）水印技术在实际部署中面临的两大挑战——模型性能严重下降和额外推理开销——提出了基于混合专家（MoE）架构的水印方案 WaterMoE。作者首先构建了一个涵盖多种生成任务的综合基准，系统评估了9种代表性水印方法，
Stealing the Decoding Algorithms of Language Models.
本文首次展示了一种攻击方法，能够通过仅对语言模型（LM）进行典型的API访问，以极低的经济成本窃取其解码算法的类型和超参数。解码算法是语言模型生成文本的关键组件，决定了如何从LM输出的内部概率分布中选出文本。选择和调优解码算法需要大量时间、
You Autocomplete Me: Poisoning Vulnerabilities in Neural Code Completion.
本文研究了神经代码自动完成器（基于Pythia和GPT-2的新型自动完成系统）面临的数据投毒和模型投毒攻击。代码自动完成是现代IDE的核心功能，最新一代自动完成器使用在公开开源代码上训练的神经语言模型，根据当前上下文提供智能建议。研究发现，
Antiproof: Synthesizing Vulnerability Detectors and Proofs of Exploitability
Antiproof 是一个端到端的漏洞发现系统，旨在同时实现高召回率和可靠自动验证，解决现有方法在成本和效果之间的权衡。系统核心结合了神经符号检测器合成（neuro-symbolic detector synthesis）和可利用性证明预言
Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models
该论文针对设备端大语言模型（LLM）推理面临的三难困境：响应延迟、有限硬件资源和用户隐私。完全云端推理虽然计算能力强，但会暴露用户提示和对话数据；而完全设备端推理在大多数消费级和嵌入式边缘设备上不可行。为此，作者提出了一种以隐私为核心的边缘
MindReader: Using LLMs to Encourage Memorable and Secure Password Replacement
该论文提出并评估了 MindReader，一个帮助用户在需要更换密码时生成既安全又易记的替代密码的工具。用户通常倾向于将旧密码替换为可预测的变体（如增加数字或特殊字符），这使得攻击者容易猜测。MindReader 利用大语言模型（LLM）来
Cross-Cutting Security Analysis of LLM-Generated Code via Metamorphic Testing and Association Rule Mining
大型语言模型（LLM）生成的代码经常包含安全漏洞，且这些漏洞往往不是孤立的，而是跨多个关注领域同时出现，反映了软件安全中的横切性质。本文提出一个框架，将安全导向的蜕变关系（MR）与关联规则（AR）挖掘相结合，用于检测LLM生成代码中的漏洞，
AutoTrace: From Patches to Triggers via Agentic Interprocedural Exploration
本文提出 AutoTrace，一个基于智能体（agentic）的流水线，用于从漏洞修复补丁中定位触发器（trigger），即导致脆弱程序状态转变为具体不安全操作的语句。该问题比二元漏洞检测更难，因为答案需要跨过程（interprocedur
When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems
该论文研究多智能体LLM系统在运行时监控方面的安全漏洞。现有安全机制通常对每个智能体的消息、工具调用或步骤进行独立检查（局部监控），但作者发现这存在根本性缺陷：分布式后门攻击可以将有害负载拆分到多个智能体中，使得每个局部检查都通过，而组合后
An Explainable Agentic System for Detection of Conversational Scams with Summary-Based Memory
该论文针对生成式人工智能背景下日益严重的对话式诈骗威胁提出了一种可解释的智能体系统。对话式诈骗通常持续数周或数月，逐步建立信任后索取金钱或敏感信息，而现有检测系统主要关注孤立信息，难以应对此类复杂攻击。本文首先扩展了单消息钓鱼检测，构建了一
Agent Hacks Agent: Autoresearch for Production-Agent Red-Teaming
本文针对生产环境中的 LLM Agent（如 Claude Code 和 Codex）面临的自动红队测试问题展开研究。这类 Agent 处理不受信任的内容、文件、命令和工作区状态，直接导致安全风险的可行性，因此需要持续的红队测试来跟上模型和
GDM AI Control Roadmap
该论文由Google DeepMind团队撰写，首次提出了面向内部安全的AI控制路线图（v0.1），旨在应对可能不协调（misaligned）的AI智能体。随着AI智能体在研发、网络防御和科学发现中加速应用，传统的安全假设（AI始终对齐）不
Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
本文针对自主渗透测试领域的研究现状进行了深入分析。近期，许多自主渗透测试论文报告了高分基准结果，但这些系统通常在前沿大语言模型（LLM）周围添加了多组件的安全框架（harness）。由于这些系统同时改变了架构和骨干模型，很难区分性能提升来自
Graph-Based Structural Evaluation of LLM-Translated Adversary Emulation Procedures
本文提出一种基于图的结构化评估方法（GBSE），用于评估大语言模型（LLM）在跨操作系统对手模拟程序翻译中的质量。对手模拟程序描述了多步攻击者流程，通常基于MITRE ATT&CK技术、权限需求和可观测遥测。LLM能够自动将这些程序从源操作
Phantom Guardrails: When Self-Improving Agent Harnesses Fix Failures That Never Happened
该论文研究自改进AI智能体在自动优化其护栏（包括提示、解析器、过滤器、验证器等）时，可能出现的一种新型失败模式：幻影护栏（Phantom Guardrails）。具体而言，基于LLM的提案者（proposer）会修改智能体的脚手架（scaf
Mako: A Self-Evolving Agentic Operating System (SE-AOS) for Autonomous Web Exploitation
本文提出并实现了 Mako，一个自演化代理操作系统（SE-AOS）的实例，专为自主 Web 漏洞利用而设计。该系统将利用能力视为一个可变的、版本化的内核，在运行时通过观察自身失败、合成新能力、在实时目标上验证并热加载改进来扩展自身。Mako
SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification
本文介绍了SingGuard-NSFA，一个面向Agentic AI系统的安全护栏框架，旨在防御提示注入、敏感信息提取、恶意代码请求、危险工具滥用和资源耗尽等操作威胁。首先，作者提出了NSFA分类法，将185种风险变体组织成基于CIA三元组
AMT-X: Phase-Structured Multi-Turn Red-Teaming with Checklist-Gated Evaluation
当前大语言模型（LLM）的安全性评估主要依赖单轮攻击数据集和单一评分器，这低估了自适应多轮攻击者带来的风险，并且报告的成功率无法区分部分可操作的输出与包含完整操作细节的输出。本文提出AMT-X（自适应多轮利用）框架，一种阶段结构化的多轮红队
MusicMark: A Robust Generative Watermarking Framework for Music Generation
随着AI音乐生成技术的快速发展及其在商业平台上的广泛应用，对生成音乐进行可靠溯源和归属认证的需求日益迫切。然而，现有的音频水印研究主要针对语音，而音乐具有复杂的结构和丰富的声学纹理，直接应用语音水印方法面临巨大挑战。大多数现有方法都是事后式