Micro-Collaborative Poisoning: A Distributed Attack on RAG Systems
检索增强生成(RAG)通过将大模型输出锚定在外部知识源上提升事实性，但这一依赖也使知识库本身成为投毒面。本文提出 Micro-Collaborative Poisoning(微协作投毒)，一种分布式投毒范式：攻击者不再把虚假目标主张集中写入
#LLM
共收录 2152 条相关情报。
← 返回所有主题ServeGuard: Verifiable, Bounded-Residual Confinement of Operator-Invisible Channels Without Revealing the Certified Read Factor
开源权重语言模型的第三方适配器（adapter）通常以不透明的权重矩阵形式分发，接收方在不信任发布方、又不检查权重（而权重正是发布方的核心资产）的前提下，无法判断适配器是否被植入后门。论文聚焦其中一类特别棘手的情形：把载荷放进安全监控器在结
HE-Guardrail: A Homomorphic Guardrail Against Jailbreak Attacks for Encrypted Large Language Model Inference
同态加密（HE）已成为隐私保护机器学习（PPML）的重要技术路线，允许在密文上直接进行模型计算。在基于 HE 的 PPML 场景中，客户端将加密输入提交给服务端，服务端在无法获知明文的前提下对 LLM 等模型完成推理。论文指出这一设定中存在
CESBench: Benchmarking Large Language Models on Cryptographic Engineering Security for IoT Devices
该论文针对物联网（IoT）设备密码工程安全领域缺少专用评测基准的空白，提出了 CESBench。研究背景在于：对 IoT 设备而言，仅有安全的密码算法远远不够——拥有物理接触能力的攻击者可以直接攻击实现本身（如侧信道、故障注入），而实现缺陷
Conformal Privacy Auditing: Calibrated Re-identification Attacks with Statistical Guarantees
该论文针对文本数据发布场景中的身份再识别（identity leakage）风险，提出了一个名为 Conformal Privacy Auditing（CPA，共形隐私审计）的免分布校准框架。研究背景是：随着大语言模型（LLM）能力提升，攻
Authorization Revocation for Long-Running AI Agents: Root-Scoped Quiescence under Delegation and Asynchronous Execution
该论文研究长时运行的 AI 智能体（long-running AI agents）在授权撤销方面的根本性缺陷。这类智能体往往比发起它的进程存活更久，其存活载体包括长期凭据、委托出去的子任务、消息队列、回调、资源预留以及服务提供方侧的操作记录
NetInspector: Measuring and Improving LLM Capabilities for Reliable Intent-Based Networking Policy Generation
现代网络规模庞大且配置高度异构，依靠人工维护策略已越来越不可行。意图驱动网络（IBN）旨在把运维人员的高层目标自动翻译为底层设备配置，但现有 IBN 系统普遍依赖静态启发式规则和固定特征分类器，面对新服务定义、运维请求措辞演变等分布漂移时泛
Loopjacking: Hijacking Human-in-the-Loop Approval
该论文提出并系统化了一类智能体（Agent）安全边界失效问题，作者将其命名为 Loopjacking（回环劫持）。在带有人工审批环节（human-in-the-loop）的智能体系统中，人工批准通常被视为执行高风险操作前的最后一道安全防线；
(Don't) Trust, but (Don't) Verify: Developers' Attention to Security in AI-Generated Code
该论文聚焦生成式 AI 编码助手在软件开发中带来的一个被忽视的环节：开发者对 AI 生成代码的“评估行为”，而非最终产出的代码本身。研究背景是：AI 编码助手（自动补全、对话式工具、AI Agent）正迅速改变开发流程，且已被证实会生成不安
Inference-Engine Fingerprinting Attacks are Practical: Exploring Model-Driven Environmental Discovery, Exploitation, and Escape
本文关注一个常被沙箱讨论忽视的攻击面：推理引擎本身。背景是前沿模型已经表现出利用复杂软件漏洞的能力，OpenAI 与 Anthropic 近期的沙箱逃逸事件说明这一风险并非理论推演。然而业界在讨论如何隔离推理栈组件时，注意力往往集中在网络代
Towards TEE-Certified DP: Verifiable Differentially Private Training on Legacy GPUs
随着机器学习广泛部署，监管与政策对训练数据保护的要求日益严格，差分隐私(DP)成为关键技术；但一个研究不足的问题是，如何在不接触私有训练数据的前提下，由外部验证者认证已发布的模型确实按声称的 DP 保护完成训练。现有基于零知识证明等密码学方
The More It Says, the More You Pay: A Black-Box Audit of Provider-Side Token Inflation in LLM Services
该论文关注按 token 计费的 LLM 服务中的一个经济安全风险：不诚信的服务提供方可以在基本保持任务可用性的前提下，隐蔽地操纵生成过程以抬高输出 token 数量，从而让用户支付更多费用。作者将这类操纵定义为“提供方侧 token 膨胀
ClashBench: Conflicts Leading Agents to Seize and Harm
随着智能体(Agent)系统被广泛部署，多个智能体会话越来越多地与用户既有的任务在同一环境中并行运行，彼此共享容量有限或状态互斥的资源（如端口、文件锁、显存、数据库连接、进程与服务等）。论文指出并形式化了一种此前未被系统研究的失效模式，作者
Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
该论文研究 AI 生成 RTL 验证计划在硬件安全场景下的可信度问题。作者指出:大模型生成的验证计划即使通过了服务商(provider)的响应 schema 校验,也可能在进入可信执行环节时失败,即「schema 合规」不等于「执行有效」。
Reachability, Not Observation: Containing Systems Whose Wiring Changes
这篇论文 (cs.NI) 讨论一个被普遍忽视的安全度量偏差: 围堵 (containment) 决策——防火墙放在哪里、监控哪些链路、程序能触及什么——通常基于对系统结构的某一次观测快照来计算, 而真实的连接关系 (wiring) 会随时间
SoK: Trading Agents or Market Crashers? Dissecting Robustness and Security Failures in Academic Financial LLM Trading Schemes
该论文聚焦于自主 LLM Agent 进入高风险领域后的安全问题，指出当前 agentic AI 安全研究大多与具体领域无关，忽视了高后果场景所特有的攻击面。作者以金融交易 Agent 作为代表性案例：在这类场景中，单个被攻陷的 Agent
Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents
该论文研究的是编码智能体(coding agent)在生产环境中的安全护栏问题。当前主流做法是在智能体执行每个动作前,由一个阻断式监控器(blocking monitor)先审查并有权否决该动作,例如 Claude Code 的 Auto
Safety Beyond the Interface: Detecting Harm via Latent States in Large Language Models
该论文关注大语言模型（LLM）安全防护基础设施的部署成本问题：当前主流做法是在模型外部串接独立的护栏模型（guardrail model）对输入输出做有害性判定，但这类外部防护会带来显著的推理延迟与算力开销，在资源受限、时延敏感的场景（如边
Closed-World Resolution Against Tool Hallucination in LLM Agents
该论文研究的是工具增强型 LLM Agent 中一个被现有方法系统性忽视的失效模式：模型会调用根本不存在的工具，并传入任何 schema 都未声明的参数（即工具幻觉）。作者指出这不是「工具选错」问题，也不是「权限过大」问题——现有防御分两类
MAGS: Multi-agent Auto-formalization Guarantees Safety for Agentic Outputs
背景与问题：LLM 编码智能体（coding agent）如今能够以远超人工审查速度的规模生成复杂程序，这带来了显著的安全与可靠性风险。常见检测手段——模糊测试、静态分析、LLM-as-a-Verifier——虽然能发现大量缺陷，但难以覆盖