How to Avoid Debate: Scalable AI Safety via Doubly-Efficient Interactive Proofs
该论文针对AI安全验证问题，提出了一种避免辩论（debate）的替代方案。传统辩论方法依赖两个能力对等的AI模型相互辩论以说服人类验证者，但这一假设在实践中可能不成立（如模型能力不均或双方均不诚实）。论文首次研究了面向AI安全场景的“单证明
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题Securing Multi-Tool AI Agent Chains With Dynamic, Real-Time Compositional Policies
现代AI代理（如前沿编码代理）在运行时会将多个工具串联起来，形成一条工具链。这种链式调用产生了单工具护栏无法解决的安全问题：即使每个工具单独使用时都是安全的，但组合起来可能违反组织的安全策略。针对这一挑战，本文提出了动态安全控制组合器（DS
LLM-Enhanced Hierarchical Heterogeneous Graph Representation Learning for Malicious Python Package Detection
恶意Python包已成为开源软件供应链生态系统（如PyPI）的主要安全威胁。现有基于学习的检测方法难以捕获不同程序实体之间的层次组织结构和异构交互。大型语言模型（LLM）在代码理解和语义推理方面表现出强大能力，但很少与结构化程序表示相结合用
Agentic and Generative AI for Open-Source Intelligence and Cyber Investigations: Taxonomy, Evaluation, Challenges, and Future Directions
该论文是一篇关于将代理式人工智能（Agentic AI）和生成式人工智能（Generative AI）应用于开源情报（OSINT）和网络调查的综合性综述。随着公开数字信息的爆炸式增长，传统的人工OSINT分析已无法满足现代情报和网络安全的需
CONTRA: Red-Teaming Configurations of Personalizable Agents
近期开发的工具（如 OpenClaw）将基于 LLM 的智能体从简单的对话系统扩展为完全自主的智能体，允许用户通过修改内部文件和安装技能进行个性化配置。这种能力虽然提升了自动化的灵活性和任务多样性，但也带来了风险：恶意动作可能在不经明确指令
Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle
该论文聚焦于人工智能在安全生命周期中日益增强的自动化趋势，指出当前同一类生成式AI模型被用于编写代码、强化代码以及探测代码漏洞，使得构建者、防御者和攻击者三个角色逐渐融合。作者认为，这种将完全自动化视为目标的主流观点存在根本性缺陷。当构建、
Enhanced Feature Extraction for IoT Network Intrusion Detection Using GNNs and KAN
随着物联网（IoT）的快速发展，其网络安全性面临严峻挑战。IoT网络具有动态拓扑、流量不均衡、攻击模式复杂等特性，与通用IT网络存在显著差异。现有基于图神经网络（GNN）的入侵检测方法在处理节点和边特征、捕获细粒度异常方面存在不足。为此，本
Steerability via constraints: a substrate for scalable oversight of coding agents
该论文聚焦于编码代理（coding agents）的安全监督问题。随着LLM驱动的编码代理能力日益增强，人类审查成为瓶颈，无约束的代理会引入安全风险（如后门注入）、破坏代码库的可扩展性，并使人工代码审查成本急剧上升。作者提出一个核心论点：管
Overview of Risk Assessment and Management for Intelligent Systems under the AI Act and Beyond
本文综述了人工智能系统风险识别、分析与管理的系统性方法论。首先，梳理了全球范围内推动AI风险评估需求的监管格局，包括欧盟《人工智能法案》等基于风险的监管框架。其次，系统分类了文献中识别的AI相关风险谱系，涵盖从技术故障（如模型鲁棒性不足、数
Behind the Refusal: Determining Guardrail Activation via Behavioral Monitoring
本文提出了一种针对大型语言模型（LLM）及智能体系统中防护栏（guardrail）的黑盒侦察方法。在现实应用中，LLM常配备防护栏系统以检测并阻止恶意指令。然而，在进行黑盒对抗模拟时，研究人员难以区分防护栏拦截与LLM自身拒绝响应（LLM
kNNGuard: Turning LLM Hidden Activations into a Training-Free Configurable Guardrail
大型语言模型（LLM）在部署时通常需要护栏（guardrails）来检测不安全、离题或对抗性提示。现有护栏大多依赖微调构建分类器，泛化能力差且推理延迟高。本文提出kNNGuard，一种无需训练的护栏，利用现成LLM的激活空间。它仅需50个安
ElephantAgent: Contextual State Continuity in Agentic Systems
本文提出了一种针对代理系统（Agentic Systems）上下文状态中毒攻击的防御协议——ElephantAgent。近年来，随着大语言模型（LLM）驱动的代理系统广泛调用外部工具并维护持久化记忆，攻击面也随之扩大。工具和记忆中毒攻击（T
Has This Checkpoint Been Abliterated? A Two-Signal Audit and Its Failure Map
该论文研究一个关键的安全问题：在部署开源权重的大语言模型（LLM）检查点之前，如何判断其是否被恶意剥离了“拒绝机制”（refusal mechanism，即模型原本拒绝回答有害请求的能力）。现有的运行时防护手段仅能评估模型生成的输出，而无法
Pmeta-TLA: Backdoor Attacks for Speech Classification Models via Meta-Learning with Timbre Leakage Attack
本文研究了语音分类模型面临的后门攻击威胁。现有后门攻击使用的触发器容易被深度神经网络检测系统识别，针对这一不足，作者提出了音色泄漏攻击（TLA）。TLA将触发器的音色信息以帧级别嵌入到深度自监督特征中，生成在人耳听来自然的恶意样本，从而绕过
Beyond Gradient-Based Attacks: Adversarial Robustness and Explainability Stability in Cybersecurity Classifiers
该论文研究网络安全分类器在面对对抗性攻击时的鲁棒性及其可解释性稳定性问题。以往工作主要关注基于梯度的攻击方法，但许多实际分类器（如随机森林、XGBoost）是不可微的树模型。作者将先前的MLP研究扩展到随机森林和XGBoost，并在四个表格
Janus: a Playground for User-Involved Agentic Permission Management
本文提出了 Janus，一个用于实现和评估用户参与的代理权限管理设计的实验系统。Janus 包含两个组件：Janus-Core，一个模块化的代理系统，支持多种权限管理设计；Janus-Harness，一个自动化评估框架。基于一个概念模型，该
Black-Box Inference of LLM Architectural Properties with Restrictive API Access
这篇论文研究了在API访问受到严格限制的情况下，如何推断大语言模型（LLM）的底层架构属性。当前大多数商业LLM供应商不再公开模型架构细节，且API只返回每个解码token的单一logit值，不再提供logit偏置功能。作者提出了Night
Generative AI and Federated Learning for Intrusion Detection Systems: A Survey
该论文是一篇关于生成式人工智能（Generative AI）和联邦学习（Federated Learning）在入侵检测系统（IDS）中应用的综述。入侵检测系统是现代网络环境（如网络物理系统、物联网、企业网络和分布式网络）中监控流量、识别恶
HARC: Coupling Harmfulness and Refusal Directions for Robust Safety Alignment
该论文研究了大型语言模型（LLM）在安全对齐后内部表示的安全方向问题。作者首先证实了之前的工作：对齐的LLM在提示侧（prompt-side）的残差流中编码了“有害性”（harmfulness）和“拒绝”（refusal）两个可分离的方向。
Cross-Domain Generalization Failure in Lightweight Intrusion Detection Models for IIoT Networks
该论文研究了轻量级机器学习模型在工业物联网（IIoT）入侵检测中的跨域泛化失败问题。虽然轻量级模型因其适合资源受限的边缘部署而被广泛提出，但大多数报告的结果仅在训练网络内评估，未验证其在未见网络上的表现。本研究在一种IIoT数据集上训练了四