ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D
随着AI代理开始自动化AI研发流程（如模型微调、CUDA内核优化、推理服务器优化等），如何确保其产出物安全部署成为一个关键问题。传统的信任代理方式存在风险，因为代理本身可能不可信。AI控制（AI control）作为一种替代方案，将代理视为
#LLM
共收录 2152 条相关情报。
← 返回所有主题They'll Verify. They Just Won't Act. How Authority Framing and Laundered Code Turn a Trusted Agentic CI/CD Pipeline Into an Attack Surface
本文研究了一个由五个智能体组成的CI/CD流水线（分诊→开发→安全扫描→审查→批准/部署），这些智能体基于来自三家不同提供商的五个独立生产级LLM，并在影子模式下部署LLM防火墙。研究关注单个不受信任的输入——一个请求“使用-遥测”功能的外
Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents
该论文研究了工具增强型大语言模型（LLM）Agent在面对静默基础设施故障时的行为，特别是当外部工具返回HTTP 200响应但payload为空、null或畸形时。现有评估框架主要关注能力指标或显式工具崩溃，忽略了这类静默失败。作者提出了一
SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement
该论文提出了一种名为 SFGA（Statistics-First Gating Architecture）的统计优先门控架构，用于解决监督微调（SFT）数据采购中的可信数据获取问题。在采购数据时，买方需要在尚未进行下游训练前判断候选数据集是
Tracing the Shadows: Automatic Tracking and Analysis of Crypto Money Laundering via Transaction Semantic Analysis
论文提出AMLGuard，一种面向账户型区块链的语义感知反洗钱(AML)框架。针对DeFi生态中日益频繁的加密货币安全事件，攻击者通常在被盗后迅速通过复杂交易转移资产、隐藏非法资金来源并最终兑换为法定货币。现有AML方法难以处理DeFi交易
Data Leakage Prevention in Agentic Applications via Preemptive Hardening
本文针对多智能体应用中的数据泄露与工具误用问题，提出了一种部署前的流水线方法，用于扫描、加固和验证基于LLM的智能体应用。该流水线首先分析提示模板、工具接口和工具调用代码，识别导致泄露的模式（如指令/数据边界失效、提示注入漏洞），并生成可操
Cross-Agent Campaign Attribution: Linking Asynchronous Attacks Across LLM Agents
该论文针对LLM智能体（Agent）在部署中面临的安全问题，提出了一种新的攻击归因任务：跨智能体异步攻击归因（Cross-Agent Asynchronous Campaign Attribution）。传统的LLM智能体防御通常在每个会话
Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
该论文针对网络安全领域中小型大语言模型（LLM）的微调选择问题，提出了一种任务导向的诊断框架FiT（Find before Fine-Tune）。研究背景是：在网络安全问答（QA）这样的关键领域，微调可以提升领域对齐，但可能侵蚀预训练知识、
When to Trust the Map: Confidence-Aware LLM Routing for Automotive CVE-to-ATM Mapping
本文针对汽车网络安全领域中的CVE到Auto-ISAC汽车威胁矩阵(ATM)映射问题，提出了一种置信度感知的LLM路由框架。由于CVE描述侧重技术条件和影响，而ATM表达攻击者的战术和技术，两者不对齐，直接自动映射可能产生错误，进而扭曲威胁
LLMThief: Evaluating Configuration Leaking Risks in Commercial LLM App Stores.
本文研究了商业大型语言模型（LLM）应用商店中的配置泄露风险，提出了一种名为LLMThief的攻击方法。该方法通过精心设计的提示注入，利用LLM应用对外部输入的处理缺陷，成功从多个主流应用商店（如OpenAI GPT Store、百度文心一
Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents
本文针对基于LLM的浏览器代理对现有Web机器人防御系统的有效性进行了系统性评估。随着LLM代理能够自主导航网页、理解页面内容并通过自然语言指令与界面交互，传统的自动化框架（如Selenium）所面临的挑战被进一步放大。作者对比了两种防御类
CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization
本文研究了文本协作提示优化（TCPO）中的提示注入风险。TCPO 扩展了 Textgrad 框架至去中心化设置，允许多个客户端联合优化大语言模型（LLM）的提示词，同时保持数据本地化。然而，TCPO 依赖自由形式的文本更新和聚合，引入了新的
The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI
随着人工智能从无状态生成模型向有状态自主Agent的架构演进，长期规划与企业工作流自动化能力得以提升，但同时也引入了新的安全威胁——Chronos漏洞。该漏洞是一类基于记忆的攻击（包括记忆注入攻击MINJA和休眠代理攻击）的统称，攻击者通过
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
本文提出 ChainWatch，一个针对基于模型上下文协议（MCP）的 AI 代理系统的多步攻击序贯检测框架。MCP 允许 AI 代理连接外部工具、数据库和服务，但这种连接带来了多步攻击的风险：攻击者可以将单个良性的工具调用组合成恶意序列，
CryptanalysisBench: Can LLMs do Cryptanalysis?
该论文提出了CryptanalysisBench，一个用于评估大型语言模型（LLM）进行密码分析能力的基准测试。密码分析旨在寻找密码方案的攻击方法，涉及数学推理和网络安全，而LLM在这两个领域发展迅速。基准包含191个任务，覆盖六类密码原语
Towards an Automated Test of LLM Security Knowledge
本文提出一种部分自动化方法，用于评估大型语言模型（LLM）在特定安全领域中的知识水平。当前评估LLM安全知识的方法主要依赖人工构建挑战题集或任务基准，这些方式需要大量专业知识和手动工作。作者利用消费者保护机构（CPAs）发布的权威信息，通过
Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing
该论文聚焦于大型语言模型（LLM）代理在高性能计算（HPC）环境中的安全挑战。随着LLM代理开始承担HPC中的常规任务，如监控Slurm作业、诊断构建失败、检查模拟输出以及协调科学工作流，它们通常使用用户的凭证进行操作，并继承用户对文件和调
ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration
本文提出 ChainMark，一种无需访问生成模型（model-free）的大语言模型水印方法，并具备封闭形式（closed-form）的统计校准能力。针对欧盟《人工智能法案》等法规要求合成文本必须可机器标记的需求，现有的水印检测器通常依赖
Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT
本文针对钓鱼邮件检测的对抗鲁棒性进行了系统比较研究。研究背景在于，当前机器学习分类器在钓鱼邮件检测中广泛应用，但其准确性往往仅在干净、分布内测试数据上评估，而忽略了对经过刻意修改以逃避检测的对抗性邮件的鲁棒性。为弥补这一空白，作者选取了两种
GARAGE: Characterizing the Automation Boundary in LLM-based Attack Graph Generation
该研究针对现代车辆网络安全中，现有的自动化工具有效处理非结构化网络威胁情报(CTI)不足的问题，提出GARAGE框架。GARAGE基于检索增强生成(RAG)，将碎片化的CTI转化为符合STIX 2.1和Auto-ISAC ATM标准的结构化