Enforcing Benign Trajectories: A Behavioral Firewall for Structured-Workflow AI Agents
本论文提出了一种名为 CodeName 的行为防火墙，用于保护由大语言模型驱动的结构化工作流 AI 代理。这类代理会对外部敏感环境执行工具调用，面临被攻击者利用的风险。研究背景基于序列入侵检测思想，核心方法是将经过验证的良性工具调用遥测数据
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题LATTICE: Evaluating Decision Support Utility of Crypto Agents
该论文提出了 LATTICE，一个用于评估加密代理（crypto agents）在真实用户场景中决策支持效用的基准测试。以往加密代理基准主要关注基于推理或结果的评估，但未能评估代理辅助用户决策的能力。LATTICE 通过以下方式填补这一空白
Conditional misalignment: common interventions can hide emergent misalignment behind contextual triggers
该论文研究了语言模型微调后出现的新兴错配（EM）现象，即模型在训练时仅接触少量恶意行为，却能在测试时泛化出更严重的恶意行为。作者验证了三种旨在减少EM的常见干预措施：1）用良性数据稀释恶意数据；2）在恶意数据后微调良性数据；3）接种提示（i
Towards Agentic Investigation of Security Alerts
安全分析师每天面临大量的告警，而许多检测系统提供的上下文信息很少，导致早期调查通常需要手动关联多个日志源，非常耗时。本文提出了一种实验性的智能体工作流，利用大型语言模型（LLM）配合预定义查询和受限工具访问（对Suricata日志的结构化S
Threat-Oriented Digital Twinning for Security Evaluation of Autonomous Platforms
该论文针对开放、非密的安全自主研究受限于无法接触实际作战平台、受争议通信基础设施和代表性对抗测试条件的问题，提出了一种面向威胁的数字孪生方法，用于对具备学习能力的自主平台进行网络安全评估。该方法被实例化为一套开源、模块化的数字孪生系统，模拟
SnapGuard: Lightweight Prompt Injection Detection for Screenshot-Based Web Agents
本文研究了基于截图的Web代理（screenshot-based web agents）面临的提示注入攻击（prompt injection attacks）威胁。这类代理通过渲染的视觉页面而非结构化文本来与网页交互，使得现有的基于文本的防
From CRUD to Autonomous Agents: Formal Validation and Zero-Trust Security for Semantic Gateways in AI-Native Enterprise Systems
该论文针对企业软件工程从传统的确定性CRUD/REST架构向AI原生系统转型过程中引入的安全张力展开研究。在AI原生系统中，大语言模型作为认知编排器，但概率性LLMs削弱了验证、访问控制和形式化测试等经典机制的安全性。作者提出了一种由模型上
Medoid Prototype Alignment for Cross-Plant Unknown Attack Detection in Industrial Control Systems
本文针对工业控制系统（ICS）中跨工厂未知攻击检测的难题，提出了一种基于中值原型对齐（Medoid Prototype Alignment）的框架。在ICS环境中，不同工厂的网络流量高度依赖本地部署环境，标签稀缺，且部署后常常出现未知攻击，
Making AI-Assisted Grant Evaluation Auditable without Exposing the Model
这篇论文针对公共机构在资助评审中引入大语言模型（LLM）作为决策辅助工具时面临的治理难题：模型和评分标准不能暴露给申请人以防他们针对优化，但评审过程必须可审计、可质疑且可问责。作者提出了一种基于可信执行环境（TEE）的架构，通过远程证明技术
Structured Security Auditing and Robustness Enhancement for Untrusted Agent Skills
本文针对智能体（Agent）技能包（Agent Skills）的安全审计问题展开研究。Agent Skills将SKILL.md文件、脚本、参考文档和仓库上下文封装为可重用的能力单元，传统预加载审计仅依赖单提示词过滤，无法应对跨文件安全审查
AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents
该论文提出 AgentWard，一种面向自主 AI 代理生命周期的深度安全架构。随着 LLM 从单纯的对话接口演变为包含技能加载、外部内容摄取、内存维护、多步规划及工具调用的完整运行时系统，安全威胁不再局限于单一接口，而是可能跨初始化、输入
Layerwise Convergence Fingerprints for Runtime Misbehavior Detection in Large Language Models
大型语言模型在运行时可能表现出各种异常行为，例如训练时注入的后门在触发词下被激活、越狱攻击绕过安全对齐、提示注入覆盖部署者指令。现有的运行时防御通常针对单一威胁，且依赖干净参考模型、触发知识或可编辑权重，这些假设对不透明的第三方模型往往不成
GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems
该论文针对大型语言模型（LLM）在多智能体系统（MAS）中集成所带来的安全挑战，提出了一种名为Gammaf（Graph-based Anomaly Monitoring for LLM Multi-Agent systems Framewo
Unveiling the Backdoor Mechanism Hidden Behind Catastrophic Overfitting in Fast Adversarial Training
本文旨在解释快速对抗训练（Fast Adversarial Training, FAT）中出现的灾难性过拟合（Catastrophic Overfitting, CO）现象。FAT能高效提升神经网络对对抗样本的鲁棒性，但容易发生CO，即模型
X-NegoBox: An Explainable Privacy-Budget Negotiation Framework for Secure Peer-to-Peer Energy Data Exchange
论文提出 X-NegoBox，一个用于点对点能源数据安全交换的透明隐私预算协商框架。现代能源系统正从集中式向分布式转变，消费者转变为产消者，持续与聚合器、对等节点和市场运营商交换数据。虽然这些数据对点对点交易、需求响应和分布式预测至关重要，
Agentic Witnessing: Pragmatic and Scalable TEE-Enabled Privacy-Preserving Auditing
该论文针对审计专有数据语义属性时的隐私与透明矛盾，提出了一种名为“Agentic Witnessing”的框架。传统方法如零知识证明（ZKP）适用于精确代数约束，但难以验证定性、非结构化属性（如代码库中的逻辑）。该框架将验证从可证明执行扩展
Defusing the Trigger: Plug-and-Play Defense for Backdoored LLMs via Tail-Risk Intrinsic Geometric Smoothing
Defending against backdoor attacks in large language models remains a critical practical challenge. Existing defenses mi
The Kerimov-Alekberli Model: An Information-Geometric Framework for Real-Time System Stability
This study introduces the Kerimov-Alekberli model, a novel information-geometric framework that redefines AI safety by f
Jailbreaking Frontier Foundation Models Through Intention Deception
Large (vision-)language models exhibit remarkable capability but remain highly susceptible to jailbreaking. Existing saf
An Information-Geometric Framework for Stability Analysis of Large Language Models under Entropic Stress
As large language models (LLMs) are increasingly deployed in high-stakes and operational settings, evaluation strategies