Lessons from Penetration Tests on Large-Scale Agent Systems
本文总结了2025年对两个专有AI代理产品进行的渗透测试结果，评估了具有执行能力的AI代理系统的安全态势。随着AI系统自主性和执行能力的增强，安全漏洞数量持续上升，但许多漏洞并非新颖，而是反映了此前计算系统中长期存在的弱点类别。执行型AI代
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Practical Anonymous Two-Party Gradient Boosting Decision Tree
本文研究的是在两方垂直分割数据上训练梯度提升决策树（GBDT）的隐私保护问题。GBDT在金融和医疗等领域广泛应用，但传统安全计算方法（如基于私有集合交集PSI）会暴露双方共享的记录标识符（IDs），存在隐私泄露风险。本文首次提出匿名GBDT
Cordon-MAS: Defending RAG against Knowledge Poisoning via Information-Flow Control
该论文针对检索增强生成（RAG）系统面临的知识投毒攻击，提出了一种基于信息流控制的防御框架CORDON-MAS。研究发现，现有防御方法（如污染检测）存在监控-控制差距：模型能够检测到检索结果中的矛盾证据，但仍会基于被污染的文档生成有害输出。
Rotation-Invariant Spherical Watermarking via Third-Order SO(3) Representation Coupling
该论文提出了一种针对全景图像（panoramic imagery）的旋转不变水印方法。全景图像定义在球面上，其内容会随任意3D旋转（SO(3)群作用）而变化，传统平面水印方法或基于数据增强的鲁棒策略无法从理论上保证旋转不变性。作者利用SO(
Certified Causal Attribution for Real-Time Attack Forensics in 6G Network Slicing
本文针对6G网络切片中的跨切片攻击归因问题，提出了一种名为DA-GC的认证因果关系框架。在6G网络中，多个网络切片共享底层基础设施，攻击可能通过资源争用等路径传播，导致标准Granger因果检验难以区分真实因果与虚假相关。现有方法在满足10
Cordyceps: Covert Control Attacks on LLMs via Data Poisoning
大型语言模型（LLM）通常使用未经过滤的文本数据集进行微调，而对手可以污染这些数据集。现有的数据投毒攻击主要依赖于固定的触发短语，这些短语可以被异常检测、干净数据正则化或在线监控等防御手段中和。本文提出了一种新的数据投毒方法，通过共享知识（
ChainCaps: Composition-Safe Tool-Using Agents via Monotonic Capability Attenuation
该论文提出了ChainCaps，一种用于工具使用型AI智能体的运行时安全机制，旨在解决工具组合中的“权限洗钱”问题。在开放环境中，智能体可以动态组合文件系统、Web API、代码解释器和企业服务，但即使每个工具单独通过了权限检查，组合后的端
Jailbreak susceptibility prediction and mitigation via the behavioral geometry of models
本文研究生成式大语言模型（LLM）对越狱攻击（jailbreak attack）的易感性预测与缓解问题。直接对所有模型配置进行完整评估和优化在实际中不可行，因为可部署的系统数量庞大。为此，作者提出了一种基于模型群体行为几何（behavior
Intelligent Detection and Mitigation of Carpet-Bombing DDoS Attacks in SDN Using Retrieval-Augmented Generation and Large Language Models
软件定义网络（SDN）因其集中控制架构而面临分布式拒绝服务（DDoS）攻击的严重威胁，特别是地毯式轰炸（Carpet-Bombing）DDoS攻击，这种攻击将恶意流量分散到多个目标以逃避传统检测机制。本文提出了一种基于检索增强生成（RAG）
CyberEvolver: Structured Self-Evolution for Cybersecurity Agents On the Fly
该论文提出了一种名为 CyberEvolver 的自主进化网络安全智能体框架，旨在解决现有基于大语言模型（LLM）的智能体在安全任务中依赖固定人工设计的脚手架、难以适应不同目标和故障模式的问题。论文首先分析了自进化在网络安全领域的三大挑战：
TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification
该论文提出了一种名为TTPrint的新型TTP提取方法，旨在从网络威胁情报（CTI）报告中准确提取MITRE ATT&CK技术。现有方法（基于规则、监督学习、大语言模型）难以同时实现高召回率和高精确率：规则和监督方法泛化能力差，而LLM方法
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
本文提出一种名为 SAMark 的自锚定文本水印框架，旨在解决语义级文本水印在段落级改写攻击下鲁棒性不足的问题。传统语义水印以句子为基本单元，依赖于句子顺序，而段落级改写（如重排句子顺序、同义替换等）会全局破坏水印信号。SAMark 通过建
Referential Security as a New Paradigm for AI Evaluations
该论文提出“指涉安全性”（referential security）作为人工智能评估的新范式。当前AI系统（尤其是大语言模型）持续更新，但公开的模型名称保持不变，而底层权重、提示词、检索机制、滥用分类器、推理设置和服务基础设施却可能未经通知
Evo-Attacker: Memory-Augmented Reinforcement Learning for Long-Horizon Tool Attacks on LLM-MAS
该论文关注于基于大语言模型的多智能体系统（LLM-MAS）中的工具攻击问题。LLM-MAS通过协调专门的智能体和外部工具来解决复杂任务，但系统对工具输出的隐式信任造成了关键攻击面。现有工具攻击方法受限于领域特定性或使用固定的静态模板。为此，
KYA: A Framework-Agnostic Trust Layer for Autonomous Systems with Verifiable Provenance and Hierarchical Policy Composition
该论文提出了KYA（Know Your Agents），一个框架无关的自主系统信任与治理层，旨在解决AI智能体运行中可能出现的错误、偏离、数据泄露或恶意行为等问题。K YA由五个核心原语组成：(1) 四门入站应用管道，结合Ed25519签名
Enhancing Autonomous Online Intrusion Detection for IoT with Balanced Learning, Reliable Pseudo-Labels, and Lightweight Architectures
本文针对物联网（IoT）环境中的入侵检测系统（IDS）面临的自适应、资源高效需求，研究了AOC-IDS——一种在IEEE INFOCOM 2024上提出的先进自主在线IDS。作者首先在UNSW-NB15基准上成功复现了AOC-IDS，获得了
Security in the Fine-Tuning Lifecycle of Large Language Models: Threats, Defenses,Evaluation, and Future Directions
该论文系统综述了大语言模型（LLM）微调生命周期中的安全问题。背景：微调是使预训练LLM适应下游任务的核心技术，但其对训练数据、参数更新和可复用组件的依赖为攻击者提供了入口。威胁已从数据中毒、权重篡改进化到智能体操纵和接口利用，而现有综述缺
Furina: Fragmented Uncertainty-Driven Refusal Instability Attack
该论文挑战了主流观点：大语言模型（LLM）和多模态大语言模型（MLLM）的安全对齐并非近似二元的阈值机制。作者通过实验揭示，安全行为实际上由一个不稳定性区域（instability region）主导，在该区域内，微小的扰动会导致模型做出随
APT-Agent: Automated Penetration Testing using Large Language Models
该论文提出了一种基于大型语言模型（LLM）的全自动渗透测试框架 APT-Agent，旨在解决传统手动渗透测试难以应对现代Web基础设施的规模和复杂性，以及现有LLM方法中存在的技术实体幻觉和长期上下文记忆不足的问题。APT-Agent系统化
Inverting the Shield: Systematically Generating Safety Tests from Policy Specifications
大型语言模型（LLM）的广泛部署迫切需要系统化的安全评估方法。现有方法要么依赖预定义视角的静态基准测试，要么采用动态红队探测潜在漏洞，但均存在依赖专家知识、缺乏系统保证、容易过时等局限。针对这些问题，本文提出 POLARIS 框架，将基于规