A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models
该论文对 Anthropic 开发的两个前沿大语言模型（Fable 5 和 Opus 4.8）进行了系统性的红队测试，评估其对抗自动化越狱攻击的鲁棒性。研究使用 HackAgent 红队框架，生成了数十万次对抗性尝试，覆盖四个自动化越狱攻击
#cs.AI
共收录 1684 条相关情报。
← 返回所有主题Agentra: A Supervisable Multi-Agent Framework for Enterprise Intrusion Response
企业入侵响应仍依赖于静态剧本和安全分析师的手动操作，导致从告警生成到威胁遏制之间存在严重延迟。为此，本文提出Agentra——一个可监督的多智能体入侵响应系统框架。Agentra以MITRE ATT&CK、MITRE D3FEND和NIST
Structural Role Injection in Handlebars-Templated LLM Prompts: Triple-Brace Interpolation, Delimiter Family, and the Limits of HTML Auto-Escaping
本文研究了Handlebars模板引擎在LLM提示构造中的安全风险，特别是三括号插值（{{{x}}}）与双括号插值（{{x}}）对结构角色注入攻击的影响。Handlebars是Microsoft Semantic Kernel默认的提示模板
Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond
本研究首次系统性地分析了用户向大型语言模型（LLM）提出的数字安全与隐私（S&P）问题以及LLM的响应质量。研究基于WildChat数据集（包含320万条用户-LLM对话），从中识别出14,727条S&P提示，并将其分为九个类别，涵盖账户安
Conflict-Aware Retriever Editing for Knowledge Injection Attacks on LLM-Based RAG Systems
该论文针对检索增强生成（RAG）系统提出了一种新的模型中心攻击框架CAREATTACK，旨在通过编辑检索器模型而非操控语料库来注入恶意知识。RAG系统通常依赖外部知识库，现有攻击多通过构造恶意文本操纵语料库，但此类合成文本易被检测。CARE
An AI Security Agent for Banking: Multi-Vector Fraud and AML Detection Across Retail and Corporate Accounts
该论文针对零售银行和企业银行面临的两类欺诈威胁——基于签名的欺诈（如无卡支付攻击、账户接管、ATM克隆）和基于行为的金融犯罪（如结构化交易、分层洗钱、钱骡网络、商业邮件诈骗）——提出了一种AI安全代理融合架构。这两类威胁的检测需求根本不同：
SoK: AI-Augmented Binary Reversing
二进制逆向工程是软件理解、漏洞发现、恶意软件分析和固件审计的基础，但由于编译过程中语义信息的不可逆丢失，该任务具有本质上的挑战性。近年来，机器学习、大型语言模型（LLM）和智能体AI系统的进展加速了AI增强二进制逆向的采用，但相关研究工作在
ARVO: Atlas of Reproducible Vulnerabilities for Open-Source Software
该论文针对开源软件漏洞数据集中长期存在的“可重复性、数量、多样性三难困境”问题，提出了一种新的方法，旨在在不牺牲数量和多样性的前提下，大规模实现漏洞的可重复性。作者通过分析现有大规模漏洞复现的主要障碍，并设计通用解决方案，成功将可重复性引入
Automated jailbreak attack targeting multiple defense strategies
大型语言模型（LLM）在广泛任务中展现出卓越能力，但其安全性因易受对抗性提示攻击而备受关注。本文提出 UNIATTACK，一个面向防御视角的自动化对抗测试框架，旨在系统性地构建高效的黑盒攻击提示。与依赖静态模板或迭代式模型微调的现有方法不同
LineageMark: Multi-user White-box Watermarking for Contribution Tracing in Model Derivation Chains
本文针对开放大语言模型（LLM）生态系统中模型在多领域、多应用场景下频繁适配形成多阶段衍生链导致的贡献溯源与知识产权保护难题，提出了一种名为LineageMark的多用户白盒水印框架。现有水印方法主要针对单用户一次性嵌入，无法有效应对多次模
TrustErase: Auditable Instant Machine Unlearning with Passport-Embedded Representations
随着隐私合规AI需求的增长，机器遗忘变得愈发重要。然而，现有的基于重新训练或知识蒸馏的方法不仅计算成本高，而且难以验证。本文提出了TrustErase，一个可验证的无数据遗忘框架，利用护照嵌入表示实现即时、模块化且可审计的遗忘。核心思想是将
Graph neural networks at war: integrating cybersecurity and drone intelligence in the Israeli-Iranian conflict
该研究探讨了在物理网络系统（包括网络入侵和无人机）中，如何利用图神经网络（GNN）辅助网络安全和无人机管理。作者提出了一种集成流程，使入侵检测系统能够学习底层网络结构，识别恶意活动，并促进无人机响应措施。基于模拟案例研究，创建了网络攻击模型
An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios
本文由新加坡AI安全研究所与韩国AI安全研究所联合进行，系统评估了LLM Agent在非对抗性使用场景下的数据泄露风险。以往研究多关注通过提示注入或越狱实现的对抗性数据外泄，但本文指出，在用户提出正常、非恶意请求时，敏感信息也可能因Agen
Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents
该论文研究了大型语言模型（LLM）智能体在工具选择过程中的失败机制。通常认为，模型在工具集中未能注意到正确工具是导致错误选择的原因，但论文通过注意力片段分析提出了相反的观点：模型在80%的情况下正确关注到了正确的工具，但依然做出了错误选择。
The Proxy Knows Too Much: Sealing LLM API Routers with Attested TEEs
本文研究了大型语言模型（LLM）API路由器存在的安全风险。当AI代理通过API路由器访问LLM时，路由器会终止客户端的传输层安全会话并建立新的上游会话，导致路由器能够获取完整的明文交互内容。这使得路由器成为应用层中间人攻击者：它可以改写代
SPARK: Security Knowledge Priming and Representation-Guided Knowledge Activation for LLM-based Secure Code Generation
大型语言模型（LLM）在生成代码时频繁引入可利用的安全缺陷。现有防御方法通常依赖繁重的微调或外部知识检索，带来显著的计算开销和冗余代码示例导致的数据偏差。本文提出一种相反观点：预训练语料库中已包含丰富的安全知识，缺陷在于激活不足——缺乏明确
Timestamp-Aware Spatio-Temporal Graph Contrastive Learning for Network Intrusion Detection
该论文针对现有基于图神经网络（GNN）的网络入侵检测系统（NIDS）的局限性——将流量流视为时间独立且依赖有监督学习——提出了一种时间感知的自监督时空图对比学习框架。研究背景：GNN在建模网络流量关系方面有效，但多数方法忽略时间动态特征，且
MASCOT-Android: A Curated Dataset and Automated Collection Pipeline for Android Malware Source Code Specimens
本文提出MASCOT-Android，一个经过整理的Android恶意软件源代码数据集及自动化收集流水线。Android恶意软件源代码相较于二进制或反编译代码更能直接反映攻击者意图，但由于源代码稀缺且人工审查成本高昂，此类数据集难以构建和维
SkillVetBench: LLM-as-Judge for Multi-Dimensional Security Risk Evaluation in Open-Source LLM Agent Skills
随着开源LLM（大语言模型）智能体生态系统的迅速发展，社区贡献的“技能”（即模块化工具定义，用于扩展智能体能力）的安全性普遍缺乏审查。现有安全扫描器仅在代码层运行，对于指令层和多智能体层面的风险——例如通过自然语言指令劫持智能体、通过编码侧
AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems
该论文关注AI驱动系统进化中隐藏的弱点问题。近年来，计算机系统社区对AI驱动的系统进化兴趣日益增长，即利用AI智能体迭代地重写系统代码。例如AdaEvolve和Engram等框架声称相比于人工设计算法可获得12-60%的分数提升。然而，这些