Integrity of peer-to-peer distributed LLM inference under malicious nodes
该论文研究了对等网络（P2P）分布式大语言模型（LLM）推理的完整性保证问题。在P2P分布式推理场景中，LLM的层被分散到多个节点上，每个请求依次经过由不同独立方拥有和控制的节点。任何恶意的节点都有可能篡改其负责的层的输出，从而破坏最终结果
#cs.AI
共收录 1665 条相关情报。
← 返回所有主题ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D
随着AI代理开始自动化AI研发流程（如模型微调、CUDA内核优化、推理服务器优化等），如何确保其产出物安全部署成为一个关键问题。传统的信任代理方式存在风险，因为代理本身可能不可信。AI控制（AI control）作为一种替代方案，将代理视为
They'll Verify. They Just Won't Act. How Authority Framing and Laundered Code Turn a Trusted Agentic CI/CD Pipeline Into an Attack Surface
本文研究了一个由五个智能体组成的CI/CD流水线（分诊→开发→安全扫描→审查→批准/部署），这些智能体基于来自三家不同提供商的五个独立生产级LLM，并在影子模式下部署LLM防火墙。研究关注单个不受信任的输入——一个请求“使用-遥测”功能的外
Code Division Modulation Layers Against Forgetting and Inference in Continual Gait Identification
本文提出了一种基于码分调制层（CDML）的方法，用于解决持续学习在步态识别系统中面临的灾难性遗忘和隐私推理攻击问题。持续学习允许模型逐步吸收新任务的知识，而无需重新训练整个模型，在生物识别领域具有降低计算成本的潜力。然而，传统持续学习方法在
Guardrails as Scapegoats: Auditing Unfaithful Safety Refusals in Tool-Augmented LLM Agents
该论文研究了工具增强型大语言模型（LLM）Agent在面对静默基础设施故障时的行为，特别是当外部工具返回HTTP 200响应但payload为空、null或畸形时。现有评估框架主要关注能力指标或显式工具崩溃，忽略了这类静默失败。作者提出了一
SFGA: A Statistics-First Gating Architecture with Adjudicative Escalation for Trustworthy SFT Data Procurement
该论文提出了一种名为 SFGA（Statistics-First Gating Architecture）的统计优先门控架构，用于解决监督微调（SFT）数据采购中的可信数据获取问题。在采购数据时，买方需要在尚未进行下游训练前判断候选数据集是
Data Leakage Prevention in Agentic Applications via Preemptive Hardening
本文针对多智能体应用中的数据泄露与工具误用问题，提出了一种部署前的流水线方法，用于扫描、加固和验证基于LLM的智能体应用。该流水线首先分析提示模板、工具接口和工具调用代码，识别导致泄露的模式（如指令/数据边界失效、提示注入漏洞），并生成可操
Cross-Agent Campaign Attribution: Linking Asynchronous Attacks Across LLM Agents
该论文针对LLM智能体（Agent）在部署中面临的安全问题，提出了一种新的攻击归因任务：跨智能体异步攻击归因（Cross-Agent Asynchronous Campaign Attribution）。传统的LLM智能体防御通常在每个会话
Building Trust in Autonomous Commerce: A Verifiable Global Event Timeline and AI-Ready Fraud Intelligence Layer
本文针对代理驱动的商业协议（如AP2和ACP）在跨异构域的交易审计中缺乏可互操作、防篡改的审计能力和可验证的时间顺序的问题，提出了一种可验证的全局事件时间线架构。该架构由四个核心组件构成：标准事件模式（确保确定性序列化）、确定性批次形成（无
Find Before You Fine-Tune: A Diagnostic Study of Small LLMs for Cybersecurity QA
该论文针对网络安全领域中小型大语言模型（LLM）的微调选择问题，提出了一种任务导向的诊断框架FiT（Find before Fine-Tune）。研究背景是：在网络安全问答（QA）这样的关键领域，微调可以提升领域对齐，但可能侵蚀预训练知识、
Broken Gates: Re-evaluating Web Bot Defenses in the Age of LLM Agents
本文针对基于LLM的浏览器代理对现有Web机器人防御系统的有效性进行了系统性评估。随着LLM代理能够自主导航网页、理解页面内容并通过自然语言指令与界面交互，传统的自动化框架（如Selenium）所面临的挑战被进一步放大。作者对比了两种防御类
CPInj: Uncovering Prompt Injection Risks in Textual Collaborative Prompt Optimization
本文研究了文本协作提示优化（TCPO）中的提示注入风险。TCPO 扩展了 Textgrad 框架至去中心化设置，允许多个客户端联合优化大语言模型（LLM）的提示词，同时保持数据本地化。然而，TCPO 依赖自由形式的文本更新和聚合，引入了新的
Attacking Graph Foundation Models Through Their Shared Representation
该论文首次系统性地研究了图基础模型（Graph Foundation Models, GFMs）中“对齐层”（alignment layer）这一独特攻击面。图基础模型通过将不同领域的图输入映射到一个共享表示空间，然后进行任务推理，这一映射
The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI
随着人工智能从无状态生成模型向有状态自主Agent的架构演进，长期规划与企业工作流自动化能力得以提升，但同时也引入了新的安全威胁——Chronos漏洞。该漏洞是一类基于记忆的攻击（包括记忆注入攻击MINJA和休眠代理攻击）的统称，攻击者通过
ChainWatch: A Kill Chain-Aligned Sequential Detection Framework for Multi-Step Attacks in MCP-Based AI Agent Systems
本文提出 ChainWatch，一个针对基于模型上下文协议（MCP）的 AI 代理系统的多步攻击序贯检测框架。MCP 允许 AI 代理连接外部工具、数据库和服务，但这种连接带来了多步攻击的风险：攻击者可以将单个良性的工具调用组合成恶意序列，
Towards an Automated Test of LLM Security Knowledge
本文提出一种部分自动化方法，用于评估大型语言模型（LLM）在特定安全领域中的知识水平。当前评估LLM安全知识的方法主要依赖人工构建挑战题集或任务基准，这些方式需要大量专业知识和手动工作。作者利用消费者保护机构（CPAs）发布的权威信息，通过
Trusted Credentials, Untrusted Behavior: Benchmarking LLM-Agent Security in High-Performance Computing
该论文聚焦于大型语言模型（LLM）代理在高性能计算（HPC）环境中的安全挑战。随着LLM代理开始承担HPC中的常规任务，如监控Slurm作业、诊断构建失败、检查模拟输出以及协调科学工作流，它们通常使用用户的凭证进行操作，并继承用户对文件和调
ChannelGuard: Safe Models Do Not Compose into Safe Multi-Agent Systems
多智能体LLM应用通常由规划器、工作智能体、验证器和合成器按链式顺序调用，每个智能体之间的通道是未被监控的通信路径，攻击者可以通过这些通道注入恶意指令（例如提示注入、工具投毒）。现有防御（例如IBProtector、Llama Guard、
ChainMark: Model-Free LLM Watermarking with Closed-Form Calibration
本文提出 ChainMark，一种无需访问生成模型（model-free）的大语言模型水印方法，并具备封闭形式（closed-form）的统计校准能力。针对欧盟《人工智能法案》等法规要求合成文本必须可机器标记的需求，现有的水印检测器通常依赖
Adversarial Robustness of Phishing Email Detection: A Comparative Study of TF-IDF + Logistic Regression and Fine-Tuned DistilBERT
本文针对钓鱼邮件检测的对抗鲁棒性进行了系统比较研究。研究背景在于，当前机器学习分类器在钓鱼邮件检测中广泛应用，但其准确性往往仅在干净、分布内测试数据上评估，而忽略了对经过刻意修改以逃避检测的对抗性邮件的鲁棒性。为弥补这一空白，作者选取了两种