Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
该论文揭示了大型语言模型（LLM）在支持函数调用的状态ful环境中存在的一种结构性安全漏洞。在此类系统中，开发者定义的函数schema、结构化参数以及不可信的工具输出被混入同一个共享模型上下文，导致可信控制逻辑与不可信数据间的边界模糊，攻击
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题SoK: Attack and Defense Landscape of Mobile On-device AI Systems
移动端设备端AI（MoAI）系统将本地部署的AI模型与传统移动软件组件集成，直接在终端设备上提供智能功能，具有隐私保护、低延迟和离线可用等优势。然而，本地存储AI模型引入了新的安全风险。本文是首个针对MoAI安全的系统化知识梳理，涵盖安全支
A Lifecycle and Application-Stack Survey of Large Language Model Vulnerabilities: Attacks, Risks, Defenses, and Open Problems
本文对大型语言模型（LLM）的系统化安全性研究进行了综述，创新性地从生命周期和应用栈视角分析漏洞。研究指出，LLM已从单纯的文本生成器演变为嵌入检索管道、企业助手、编码环境、机器人系统、安全操作工作流和自主代理的复杂系统，能够读取私有数据、
Comparative Analysis of Machine Learning based Intrusion Detection in Realistic IoT Networks
该论文针对物联网（IoT）网络安全问题，研究基于机器学习的入侵检测系统（IDS）在真实物联网网络中的性能。物联网设备资源受限，传统安全措施难以部署，因此轻量级入侵检测尤为重要。作者使用 Gotham2025 数据集（由 Gotham 试验台
CVE-TTP KG: Knowledge Graph Linking Software Vulnerabilities to Attack Behaviors
本文针对当前威胁环境中，CVE/NVD 等漏洞数据库缺乏与攻击者行为（如 MITRE ATT&CK 战术和技术）的显式关联，导致安全团队难以快速理解漏洞的实际利用后果问题，提出了一种将软件漏洞与攻击行为模式链接的知识图谱构建方法。作者首先构
CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs
本文提出一种针对大型语言模型（LLMs）的后门检测与触发器反演框架。现有后门检测方法主要针对图像等领域，对LLMs的适用性有限，因为LLMs的输入空间是离散的，且存在大量可能的触发器组合（token序列），同时需要黑名单过滤目标类常见tok
Curvature-Guided Module Localization for Low-Rank Detoxification of Backdoored Large Language Models
本文研究了大语言模型（LLM）中的后门攻击防御问题。后门攻击通过在正常输入中嵌入隐藏触发器，使得模型在触发器存在时产生攻击者指定的恶意行为，而在无触发器时表现正常。现有防御方法通常需要重新训练整个模型或进行全局微调，成本高昂且可能破坏模型原
AI-Generated PowerShell Malware: An Experimental Framework and Dataset
本文针对生成式AI在网络安全领域带来的威胁，特别关注大型语言模型（LLM）被用于生成PowerShell恶意代码的攻击事件。作者提出了一个评估LLM生成PowerShell恶意软件的实验框架，包括一种新型动态分析沙箱，用于分析AI生成的恶意
Security--Fidelity Tradeoffs: The Hidden Cost of Prompt Injection Defense
该论文揭示了在防御大型语言模型（LLM）免受间接提示注入攻击时存在安全性与保真度之间的固有权衡。传统攻击成功率指标无法区分模型忽略注入、将注入作为数据处理以及正确执行注入这三种情况，因此无法衡量保真度。为此，作者提出了SecFid基准测试，
Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens
该论文针对类似 Claw 的 AI 智能体（如 OpenClaw）的安全问题进行了系统研究。这类智能体是始终在线的进程，持续拥有对凭证、文件、工具和外部服务的访问权限，并承担安装软件包、维护状态、调度子任务、管理 I/O 等系统级职责，因此
MESA: Prioritizing Vulnerable Communication Channels for Securing Multi-Agent Systems
本文针对多智能体系统（MAS）中智能体间通信信道面临的未知攻击面问题，提出了一种名为MESA的标签无关框架。研究背景是MAS在自动化复杂分布式工作流中日益普及，但智能体间通信链路引入的新攻击面缺乏有效防御手段。作者观察到，不同通信链路（边）
Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection
该论文首次系统性地探索了大型语言模型（LLM）在代码漏洞检测中受到认知启发（cognitive heuristics）影响的现象。作者设计了一个可控框架，保持代码本身不变，仅改变周围上下文来触发三种认知启发：晕轮效应（通过作者归属）、框架效
A Multi-task Mixture of Experts Framework for Malware Classification, Packing Detection, and Family Attribution
恶意软件分类因二进制文件的异构性、加壳技术的存在以及恶意软件家族的多样化分布而极具挑战性。传统的单任务检测模型难以泛化到各类数据，尤其在面对混淆和稀有样本时性能下降严重。本文提出了一种基于混合专家（Mixture of Experts, M
COHORT: Collaborative Orchestration for Hardening via Offensive Replay on Emulated Topologies
该论文提出了 COHORT，一个用于企业网络缓解措施自动化生成和验证的端到端框架。当前，针对已观测到的攻击者，分析师通常需要数周时间手动推导缓解措施、验证其不影响生产环境，并确保能阻断攻击。COHORT 首次实现了这一过程的自动化：通过角色
Defending Against Harmful Supervision Hidden in Benign Samples
该论文针对大语言模型在微调阶段面临的新型安全威胁展开研究。现有防御机制大多假设有害监督数据以显式形式混入下游微调数据集（如直接包含恶意问答对），但攻击者可以采取更隐蔽的方式：将有害的监督信号嵌入到看似良性的任务样本中。作者提出了一种名为“E
An AI-Based Solution for Secure Service Provisioning in IoT
随着物联网（IoT）的快速发展，攻击面不断扩大，针对智能对象及其交互的新兴威胁日益增多。确保服务提供的安全性对于IoT生态系统的正常运行、安全性和可靠性至关重要。服务提供涵盖设备注册、配置、认证、授权和软件部署等关键任务。本文提出一个综合框
Multi-Level Distributional Entropy for Explainable Network Intrusion Detection
机器学习的网络入侵检测系统（IDS）通常依赖于聚合流统计数据，这丢弃了分布结构信息。传统的熵度量需要原始数据包序列，而在预先聚合的流数据集中不可用。本文提出多级分布熵（MDE），一个分析框架，直接从流级汇总统计量中推导出可解释的熵特征，包括
Closing the Activation-Cone Blind Spot: Response-Time Probing and Unified Defense
该论文系统评估了大型语言模型（LLM）推理时安全防御方法的性能，填补了该领域缺乏系统比较的空白。研究涵盖了五种防御范式（无防御、静态引导、CAST、AlphaSteer、探针门控）在七个指令微调模型（参数量7-31B）上抵御五种攻击（GCG
Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
本论文研究了 LLM agent 在跨步骤和会话中使用压缩记忆时，记忆体（如 mem0、LangMem）对对话内容进行重写为存储的“事实”所引发的安全隐患。作者通过构建实验环境，展示了一种无攻击者参与的“制造确信”现象：一个随意、含糊的评论
From Tool Connection to Execution Control: Benchmarking Security Invariants in MCP-Style Agent Runtimes
本文研究MCP（Model Context Protocol）风格的代理运行时的安全不变性。MCP为语言模型应用提供了工具、资源、提示和传输的连接层，但随着代理从连接向执行推进，安全决策分散在客户端、服务器、提示、批准对话框、OAuth部署