该学位论文系统研究如何评估并提升大语言模型(LLM)对输入序列变异的鲁棒性,直面生产系统中三类现实威胁:提示注入、木马/后门植入,以及对自动质量评测指标(LLM-as-a-Judge)的操纵。作者首先提出生成式鲁棒性度量 R_stab(f),通过对输入施加微小扰动,比较模型逐步输出分布之间的 Jensen-Shannon 散度来量化稳定性。针对局部化攻击,论文给出理论结果 V(h) ≤ 1 − R_class(h),即决策算子 h 的脆弱性上界由其在微小扰动下仍保持原决策的概率决定;针对非局部化攻击,则提出经标定的经验模型来刻画脆弱性。在评测器安全方向,作者设计了 ASA——一种自适应进化式黑盒攻击方法,用于攻击 LLM-as-a-Judge 系统,最高攻击成功率(ASR)达 73.8%,在开放模型之间的迁移成功率最高 62.6%,说明评测器本身可被系统性操纵。在后门检测方向,论文在 Trojan Detection Challenge 2023(Pythia-1.4B)数据上显示,基于代理触发器可取得约 0.99 的 REASR,但对真实触发器的召回率仅约 0.17(基线约 0.14),揭示现有检测方法易过拟合到代理触发器而非真正识别后门。在防御绕过方向,作者基于 SaTML CTF 2024 的经验,将多层防御的绕过方式归纳为四类,可将 ASR 从 90% 压降到 15–25%。在集成防御上,由 5–7 个异构模型组成的委员会可把 Gemma-3-4B 的 ASR 降低 47–55 个百分点,7 模型配置下降至 19.3%。面向基于模型上下文协议(MCP)的智能体系统,论文提出 AttestMCP,用 HMAC 保护的数据包对工具调用进行证明,单次调用开销低于 0.1 毫秒,并提出 Commit Boundary 隔离模式;在包含 847 个场景的 MCPBench 上,二者将平均 ASR 从 53.7% 降至 12.4%。所有方法均落地为 JudgeGuard、TrojanArmor 软件套件与 MCPSec 模块,形成从理论度量、攻击评估到工程防御的完整闭环。
💡 推荐理由: 它把 LLM 评测器(LLM-as-a-Judge)与 MCP 工具调用链明确当作可被攻陷的攻击面,并给出了可量化的 ASR 基线与可落地的缓解手段,对构建 LLM 应用与 Agent 平台的防御方具有直接参考价值。
🎯 建议动作: 研究跟进:精读论文与 JudgeGuard / TrojanArmor / MCPSec 的实现思路,并纳入内部 LLM 评测器与 MCP Agent 安全评估基线。