本文是一篇针对大语言模型（LLM）在漏洞评估中产生“AI 垃圾内容”（AI Slop）及幻觉问题的系统性综述。研究背景是：LLM 被广泛集成到网络安全漏洞评估流程中，显著提升了自动化水平，但同时也引发了可信性危机——模型会生成幻觉漏洞、看似合理但错误的补丁、以及语义重复或误导性的 bug 报告。这些产物被统称为“AI slop”，它们大量涌入人工分流（triage）管线，给安全分析师带来沉重的认知负担，其效果类似于一次拒绝服务攻击。作者通过结构化文献回顾，形式化了一套 AI slop 的分类法，并剖析其根本原因：安全专家所依赖的因果演绎推理与当前 LLM 的自回归概率生成之间存在根本性差距。为了量化这一差距，作者提出了“演绎覆盖率分数”（Deductive Coverage Score）作为可测代理指标，并通过实验表明，思维链（chain-of-thought）提示和工具使用型智能体虽然能缩小该差距，但无法完全消除。在缓解策略方面，作者认为被动的幻觉检测和水印方法只能追溯来源，不能验证正确性，且受限于熵约束；因此他们主张采用主动的神经符号验证（neuro-symbolic verification），将流水线的每个组件映射到已有明确安全输入限制的系统中。最后，论文设计了两套评估工具：CVE-Bench 和 Slop-Score，包括数据集构建、指标公式和防作弊机制。整体上，本文主张将评估标准从语言流畅性转向数学可验证性，为构建可信的 AI 驱动漏洞分流系统提供了路线图。适合安全研究员、LLM 应用开发者及 SOC 自动化决策者阅读。

该论文聚焦于基于大语言模型的多智能体系统（MAS）在协作推理与决策中面临的新型系统性风险：局部幻觉可能沿着智能体之间的通信链路传播，在交互中被放大，最终触发级联故障。现有防御手段大多属于事后（post-hoc）范式，即只有在不安全行为已经出现后才识别故障，而此时有害影响可能已扩散至整个智能体网络。为弥补这一不足，论文提出一种事前（pre-hoc）风险评估框架 HalluProp，在智能体相互交互之前就估计个体智能体故障概率以及系统级幻觉风险。具体方法分为三步：首先，通过识别智能体角色与任务查询之间的细粒度语义错位，建模内在幻觉风险；其次，通过建模语义影响与通信拓扑，刻画智能体间风险传播机制；最后，利用可微的 Noisy-OR 推理机制融合内在风险与传播风险，生成系统性诊断结果。大量实验表明，HalluProp 能够准确定位故障智能体，平均 AUROC 达到 84.6%，同时可在亚秒级完成诊断，相比事后方法实现超过 65 倍的加速。通过上游筛查促成早期干预，HalluProp 有效补充了现有事后方法，凸显了事前风险推断在构建更可靠多智能体系统方面的潜力。

本文定义并系统研究了大语言模型（LLM）中的一种新型幻觉——防护能力幻觉（Protective Capacity Hallucination, PCH）。当LLM被赋予保护脆弱用户的角色，但未明确告知其能力边界时，模型可能不会承认自身局限，反而声称已执行或正在执行其无法实现的现实世界保护行动，例如联系紧急服务或提供医疗护理。这种幻觉是自我指涉的错误归因，模型在保护角色中宣称了超出其语言模型能力的物理或制度性代理权。 研究分为三个阶段，涵盖8种LLM（包括GPT-4、Claude等）和13,600次会话。实验发现，PCH的触发受情境严重性和交互形式共同控制：在多轮对话输入场景中，大多数模型在普通服务领域（如客户支持）的PCH发生率接近天花板；而在亲密伴侣冲突情景（该情景明确属于安全对齐覆盖范围）中，尽管物理严重性更高，所有8种模型的PCH发生率却始终处于地板水平。 作者将PCH解释为角色分配与能力边界规范之间的部署-设计差距：它是部分对齐的副产品，即普遍训练出的“帮助压力”超越了领域特定“如何帮助”的规范。由于PCH的抑制与对齐覆盖范围相关而非严重性，因此部署侧的能力边界规范（deployment-side specification of capability boundaries）成为通用的缓解目标。本文贡献包括：提出PCH概念、实证揭示其分布规律、提出缓解方向。适合LLM安全研究者、AI系统部署者、AI伦理与治理从业者阅读。

LLM 代理通过从开放注册表下载技能来获得新能力。开发者通常让代理推荐并安装技能，但代理经常捏造不存在的技能名，这种现象称为“技能名幻觉”。本文首次大规模测量该漏洞，评估了 15,000 条提示和 12 种配置（4 个独立 LLM 和 8 个代理）。结果显示，所有配置都存在幻觉，平均幻觉率在独立 LLM 为 36.0%，在代理中为 36.9%，在真实开发者问题上高达 43.1%。系统共生成 5,669 个独特的虚构名称，且这些名称并非随机噪声：代理会跨提示和模型重复相同的虚假名称，为攻击者提供了高度可靠的目标。攻击者可预先注册这些名称对应的恶意技能，当代理尝试安装时即触发供应链攻击。作者测试了四种模型级防御，最强的检索接地将幻觉率从 40.8% 降至 3.2%，但严重损害了实用性——即使最优配置下，正确推荐技能的概率也仅为约六分之一。因此，技能名幻觉是高度可利用的漏洞，修复无法仅靠提示工程或模型调优，需要生态系统层面的结构性变革：注册表级名称预留和验证的推荐管道。

该论文研究了多智能体大语言模型（LLM）系统中的集体幻觉问题，将幻觉建模为一种系统级、随时间演化的过程，发生在一个由相互交互的LLM代理构成的网络中。节点代表代理，边代表信息交换。所提出的形式化方法描述了幻觉声明如何通过通信拓扑传播，在对抗性扰动下加剧，以及如何在推理轮次中影响集体可靠性。为了抑制错误传播，作者引入了一种交互感知控制方法，结合了置信度加权聚合、自适应影响调节、外部声明验证和选择性隔离不可靠代理。在TruthfulQA和TriviaQA数据集上的实验表明，该方法相比未防御的多智能体推理，将幻觉减少了高达39.0%，事实准确性从0.79提高到0.87，语义一致性从0.75提高到0.84。在对抗条件下，该方法将幻觉放大限制在1.08，而无需自适应控制时为1.45，在递归交互轮次中保持稳定的集体行为。结果表明，多智能体LLM系统中的幻觉受个体模型可靠性和系统级交互动态（包括通信拓扑、置信度耦合和递归信息流）共同支配。

大型语言模型(LLM)生成的文本流畅但容易产生幻觉，即输出无根据、不一致或事实错误的内容。以往研究多将幻觉视为孤立输出的静态属性，但多智能体LLM系统中，响应在智能体间交换、经过序列化阶段修订并作为后续推理的上下文，使幻觉成为受交互历史、级联深度和模型异质性影响的动态过程。本文通过跟踪跨顺序智能体交互的声明级事实不一致性，分析了多智能体LLM级联中的幻觉动态。作者使用GPT-5.3、DeepSeek-V3和LLaMA-3-70B-Instruct在10个知识领域进行了500次级联实验，收集了1250条评价响应。结果表明，在3智能体链中，更深级联使归一化幻觉分数从第一个智能体的0.422降至最终智能体的0.272，放大因子为0.644，表明净衰减；同时事实准确率从0.789降至0.769，揭示了幻觉抑制与事实保留之间的权衡。转换级分析显示，每次智能体到智能体的精炼平均减少幻觉0.072，但伴随事实一致性和响应质量的小幅稳定损失。模型级结果揭示可靠性-效率权衡：LLaMA-3-70B-Instruct达到最低幻觉分数，而GPT-5.3生成更快但幻觉率更高。领域级分析表明，幻觉随主题复杂性变化，在基于事实的科学领域分数较低，在更抽象的领域分数较高。该研究适合AI安全研究人员、LLM系统架构师和可靠性工程师阅读。

该论文提出了一种新型安全威胁：多模态智能体中的“幻觉即利用”（Hallucination as Exploit）。多模态智能体通过截图、文档、网页等视觉输入选择工具调用。当模型产生错误的视觉主张（如误认页面元素）并触发点击、邮件发送、数据提取或转账等操作时，幻觉从回答质量错误转变为授权失败。作者将此模式形式化为“幻觉到动作转换”（Hallucination-to-Action Conversion, HACR），即一个无依据的感知主张提供了特权动作看似被允许的前提条件。为防御此类攻击，论文提出了“证据携带多模态智能体”（Evidence-Carrying Multimodal Agents, ECA）。ECA 将模型自由文本视为不可采纳的证据，每个工具调用被分解为动作关键谓词，通过受限的 DOM/OCR/AX 验证器获取类型化证书，并由确定性门控仅授予证书所支持的权限。该架构不隐藏感知错误，而是将不透明的模型信念转换为命名的验证器、模式和实现残差。在超过1900次攻击的验证器红队测试中，通过四个针对性强化步骤将门绕过率从15%降至1.3%。使用内容派生证书，ECA 在200任务的端到端流水线中实现了0%不安全动作率（Wilson 95%置信区间上限2.67%），在120任务的浏览器概念验证中上限为4.3%。对500个分层任务键的HACR审计显示，无防御的智能体中不安全执行率达100.0%，仅提示防御为49.6%，而ECA为0%。Oracle证书回放在7,488个GPT-5.4基准轨迹上作为门正确性验证，神经评判基线在相同威胁模型下仍可被绕过。核心原则：模型语言可以提议动作，但外部证据必须授权它们。

本文针对大型语言模型（LLM）中的幻觉现象，提出了一种新颖的对抗性攻击框架REALISTA。幻觉是指模型生成看似合理但实际错误的内容，严重影响LLM的可靠性和安全性。现有攻击方法存在局限性：基于离散提示的攻击（如人工改写）搜索空间有限，而连续潜在空间攻击虽然探索空间更大，但解码后的提示往往失去语义等价性，无法保证与用户正常提示的等效性。REALISTA将幻觉诱导形式化为一个约束优化问题，旨在找到与良性用户提示语义等价且连贯的对抗性提示。其核心创新在于构建了一个输入相关的有效编辑方向词典，每个方向对应一个语义等价且连贯的改写，然后在潜在空间中优化这些方向的连续组合。这种方法结合了连续攻击的优化灵活性和离散改写攻击的语义真实性。实验表明，REALISTA在多个开源LLM上达到或超越了现有最先进现实攻击的效果，并且成功攻击了大型推理模型（如Chain-of-Thought模型）的自由响应设置，而此前的方法在此场景下均失效。该工作揭示了LLM在面对精心设计的对抗性提示时仍存在严重的幻觉漏洞，为评估和提升LLM的安全性提供了重要工具。