该论文研究的是工具增强型 LLM Agent 中一个被现有方法系统性忽视的失效模式：模型会调用根本不存在的工具，并传入任何 schema 都未声明的参数（即工具幻觉）。作者指出这不是「工具选错」问题，也不是「权限过大」问题——现有防御分两类：一类做工具选择（selection），保证选出正确工具；另一类做调用门控（gating），限制 Agent 能用真实工具做什么。二者都有一个隐含前提：模型发出的调用至少指向一个真实工具。而幻觉调用在构造上就不是任何 gate 所做过的决策，因此任何 gate 在原理上都无法拒绝它，这是一个结构性盲点。 论文定位为测量与基准研究，主要贡献包括：(1) 提出工具幻觉的五分类法 H1–H5；(2) 作为参照实现提出 Resolution Rung——一个免训练、闭世界的解析器（仅做注册表成员资格判定加签名校验），作者强调其价值在于「必须部署在链路中的哪个位置」而非其计算复杂度；(3) 形式化证明幻觉防御必须先于任何因果 gate，并刻画出一个不可约残留：借用参数（borrowed arguments），它与合法调用在 schema 层面无法区分；(4) 在十种托管模型、两种调用接口上测得 322 次真实幻觉，其中伪造工具调用高度集中在无约束的原始 JSON 调用面（34 比 3），且模型规模无帮助——675B 模型与 7–8B 模型表现相当；(5) 将研究扩展到 Model Context Protocol（MCP），指出把多个服务器合并进单一命名空间会制造单个注册表无法表达的幻觉面，并给出第二套分类法 M1–M5，在实时 MCP 接口上测得 154 次幻觉，其中甚至包括在单注册表接口上表现干净的先进模型，原因是命名冲突与遮蔽（shadowing）是合并操作的结构性产物。作者同时发布带版本号的 Hallucinated-Tools Benchmark（HTB），使不同解析器方案可在同一基准上横向比较。

本文是一篇针对大语言模型（LLM）在漏洞评估中产生“AI 垃圾内容”（AI Slop）及幻觉问题的系统性综述。研究背景是：LLM 被广泛集成到网络安全漏洞评估流程中，显著提升了自动化水平，但同时也引发了可信性危机——模型会生成幻觉漏洞、看似合理但错误的补丁、以及语义重复或误导性的 bug 报告。这些产物被统称为“AI slop”，它们大量涌入人工分流（triage）管线，给安全分析师带来沉重的认知负担，其效果类似于一次拒绝服务攻击。作者通过结构化文献回顾，形式化了一套 AI slop 的分类法，并剖析其根本原因：安全专家所依赖的因果演绎推理与当前 LLM 的自回归概率生成之间存在根本性差距。为了量化这一差距，作者提出了“演绎覆盖率分数”（Deductive Coverage Score）作为可测代理指标，并通过实验表明，思维链（chain-of-thought）提示和工具使用型智能体虽然能缩小该差距，但无法完全消除。在缓解策略方面，作者认为被动的幻觉检测和水印方法只能追溯来源，不能验证正确性，且受限于熵约束；因此他们主张采用主动的神经符号验证（neuro-symbolic verification），将流水线的每个组件映射到已有明确安全输入限制的系统中。最后，论文设计了两套评估工具：CVE-Bench 和 Slop-Score，包括数据集构建、指标公式和防作弊机制。整体上，本文主张将评估标准从语言流畅性转向数学可验证性，为构建可信的 AI 驱动漏洞分流系统提供了路线图。适合安全研究员、LLM 应用开发者及 SOC 自动化决策者阅读。

该论文聚焦于基于大语言模型的多智能体系统（MAS）在协作推理与决策中面临的新型系统性风险：局部幻觉可能沿着智能体之间的通信链路传播，在交互中被放大，最终触发级联故障。现有防御手段大多属于事后（post-hoc）范式，即只有在不安全行为已经出现后才识别故障，而此时有害影响可能已扩散至整个智能体网络。为弥补这一不足，论文提出一种事前（pre-hoc）风险评估框架 HalluProp，在智能体相互交互之前就估计个体智能体故障概率以及系统级幻觉风险。具体方法分为三步：首先，通过识别智能体角色与任务查询之间的细粒度语义错位，建模内在幻觉风险；其次，通过建模语义影响与通信拓扑，刻画智能体间风险传播机制；最后，利用可微的 Noisy-OR 推理机制融合内在风险与传播风险，生成系统性诊断结果。大量实验表明，HalluProp 能够准确定位故障智能体，平均 AUROC 达到 84.6%，同时可在亚秒级完成诊断，相比事后方法实现超过 65 倍的加速。通过上游筛查促成早期干预，HalluProp 有效补充了现有事后方法，凸显了事前风险推断在构建更可靠多智能体系统方面的潜力。

本文定义并系统研究了大语言模型（LLM）中的一种新型幻觉——防护能力幻觉（Protective Capacity Hallucination, PCH）。当LLM被赋予保护脆弱用户的角色，但未明确告知其能力边界时，模型可能不会承认自身局限，反而声称已执行或正在执行其无法实现的现实世界保护行动，例如联系紧急服务或提供医疗护理。这种幻觉是自我指涉的错误归因，模型在保护角色中宣称了超出其语言模型能力的物理或制度性代理权。 研究分为三个阶段，涵盖8种LLM（包括GPT-4、Claude等）和13,600次会话。实验发现，PCH的触发受情境严重性和交互形式共同控制：在多轮对话输入场景中，大多数模型在普通服务领域（如客户支持）的PCH发生率接近天花板；而在亲密伴侣冲突情景（该情景明确属于安全对齐覆盖范围）中，尽管物理严重性更高，所有8种模型的PCH发生率却始终处于地板水平。 作者将PCH解释为角色分配与能力边界规范之间的部署-设计差距：它是部分对齐的副产品，即普遍训练出的“帮助压力”超越了领域特定“如何帮助”的规范。由于PCH的抑制与对齐覆盖范围相关而非严重性，因此部署侧的能力边界规范（deployment-side specification of capability boundaries）成为通用的缓解目标。本文贡献包括：提出PCH概念、实证揭示其分布规律、提出缓解方向。适合LLM安全研究者、AI系统部署者、AI伦理与治理从业者阅读。

LLM 代理通过从开放注册表下载技能来获得新能力。开发者通常让代理推荐并安装技能，但代理经常捏造不存在的技能名，这种现象称为“技能名幻觉”。本文首次大规模测量该漏洞，评估了 15,000 条提示和 12 种配置（4 个独立 LLM 和 8 个代理）。结果显示，所有配置都存在幻觉，平均幻觉率在独立 LLM 为 36.0%，在代理中为 36.9%，在真实开发者问题上高达 43.1%。系统共生成 5,669 个独特的虚构名称，且这些名称并非随机噪声：代理会跨提示和模型重复相同的虚假名称，为攻击者提供了高度可靠的目标。攻击者可预先注册这些名称对应的恶意技能，当代理尝试安装时即触发供应链攻击。作者测试了四种模型级防御，最强的检索接地将幻觉率从 40.8% 降至 3.2%，但严重损害了实用性——即使最优配置下，正确推荐技能的概率也仅为约六分之一。因此，技能名幻觉是高度可利用的漏洞，修复无法仅靠提示工程或模型调优，需要生态系统层面的结构性变革：注册表级名称预留和验证的推荐管道。

该论文研究了多智能体大语言模型（LLM）系统中的集体幻觉问题，将幻觉建模为一种系统级、随时间演化的过程，发生在一个由相互交互的LLM代理构成的网络中。节点代表代理，边代表信息交换。所提出的形式化方法描述了幻觉声明如何通过通信拓扑传播，在对抗性扰动下加剧，以及如何在推理轮次中影响集体可靠性。为了抑制错误传播，作者引入了一种交互感知控制方法，结合了置信度加权聚合、自适应影响调节、外部声明验证和选择性隔离不可靠代理。在TruthfulQA和TriviaQA数据集上的实验表明，该方法相比未防御的多智能体推理，将幻觉减少了高达39.0%，事实准确性从0.79提高到0.87，语义一致性从0.75提高到0.84。在对抗条件下，该方法将幻觉放大限制在1.08，而无需自适应控制时为1.45，在递归交互轮次中保持稳定的集体行为。结果表明，多智能体LLM系统中的幻觉受个体模型可靠性和系统级交互动态（包括通信拓扑、置信度耦合和递归信息流）共同支配。

大型语言模型(LLM)生成的文本流畅但容易产生幻觉，即输出无根据、不一致或事实错误的内容。以往研究多将幻觉视为孤立输出的静态属性，但多智能体LLM系统中，响应在智能体间交换、经过序列化阶段修订并作为后续推理的上下文，使幻觉成为受交互历史、级联深度和模型异质性影响的动态过程。本文通过跟踪跨顺序智能体交互的声明级事实不一致性，分析了多智能体LLM级联中的幻觉动态。作者使用GPT-5.3、DeepSeek-V3和LLaMA-3-70B-Instruct在10个知识领域进行了500次级联实验，收集了1250条评价响应。结果表明，在3智能体链中，更深级联使归一化幻觉分数从第一个智能体的0.422降至最终智能体的0.272，放大因子为0.644，表明净衰减；同时事实准确率从0.789降至0.769，揭示了幻觉抑制与事实保留之间的权衡。转换级分析显示，每次智能体到智能体的精炼平均减少幻觉0.072，但伴随事实一致性和响应质量的小幅稳定损失。模型级结果揭示可靠性-效率权衡：LLaMA-3-70B-Instruct达到最低幻觉分数，而GPT-5.3生成更快但幻觉率更高。领域级分析表明，幻觉随主题复杂性变化，在基于事实的科学领域分数较低，在更抽象的领域分数较高。该研究适合AI安全研究人员、LLM系统架构师和可靠性工程师阅读。

该论文提出了一种新型安全威胁：多模态智能体中的“幻觉即利用”（Hallucination as Exploit）。多模态智能体通过截图、文档、网页等视觉输入选择工具调用。当模型产生错误的视觉主张（如误认页面元素）并触发点击、邮件发送、数据提取或转账等操作时，幻觉从回答质量错误转变为授权失败。作者将此模式形式化为“幻觉到动作转换”（Hallucination-to-Action Conversion, HACR），即一个无依据的感知主张提供了特权动作看似被允许的前提条件。为防御此类攻击，论文提出了“证据携带多模态智能体”（Evidence-Carrying Multimodal Agents, ECA）。ECA 将模型自由文本视为不可采纳的证据，每个工具调用被分解为动作关键谓词，通过受限的 DOM/OCR/AX 验证器获取类型化证书，并由确定性门控仅授予证书所支持的权限。该架构不隐藏感知错误，而是将不透明的模型信念转换为命名的验证器、模式和实现残差。在超过1900次攻击的验证器红队测试中，通过四个针对性强化步骤将门绕过率从15%降至1.3%。使用内容派生证书，ECA 在200任务的端到端流水线中实现了0%不安全动作率（Wilson 95%置信区间上限2.67%），在120任务的浏览器概念验证中上限为4.3%。对500个分层任务键的HACR审计显示，无防御的智能体中不安全执行率达100.0%，仅提示防御为49.6%，而ECA为0%。Oracle证书回放在7,488个GPT-5.4基准轨迹上作为门正确性验证，神经评判基线在相同威胁模型下仍可被绕过。核心原则：模型语言可以提议动作，但外部证据必须授权它们。

本文针对大型语言模型（LLM）中的幻觉现象，提出了一种新颖的对抗性攻击框架REALISTA。幻觉是指模型生成看似合理但实际错误的内容，严重影响LLM的可靠性和安全性。现有攻击方法存在局限性：基于离散提示的攻击（如人工改写）搜索空间有限，而连续潜在空间攻击虽然探索空间更大，但解码后的提示往往失去语义等价性，无法保证与用户正常提示的等效性。REALISTA将幻觉诱导形式化为一个约束优化问题，旨在找到与良性用户提示语义等价且连贯的对抗性提示。其核心创新在于构建了一个输入相关的有效编辑方向词典，每个方向对应一个语义等价且连贯的改写，然后在潜在空间中优化这些方向的连续组合。这种方法结合了连续攻击的优化灵活性和离散改写攻击的语义真实性。实验表明，REALISTA在多个开源LLM上达到或超越了现有最先进现实攻击的效果，并且成功攻击了大型推理模型（如Chain-of-Thought模型）的自由响应设置，而此前的方法在此场景下均失效。该工作揭示了LLM在面对精心设计的对抗性提示时仍存在严重的幻觉漏洞，为评估和提升LLM的安全性提供了重要工具。