#llm-as-a-judge

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Narek Maloyan

该学位论文系统研究如何评估并提升大语言模型(LLM)对输入序列变异的鲁棒性,直面生产系统中三类现实威胁:提示注入、木马/后门植入,以及对自动质量评测指标(LLM-as-a-Judge)的操纵。作者首先提出生成式鲁棒性度量 R_stab(f),通过对输入施加微小扰动,比较模型逐步输出分布之间的 Jensen-Shannon 散度来量化稳定性。针对局部化攻击,论文给出理论结果 V(h) ≤ 1 − R_class(h),即决策算子 h 的脆弱性上界由其在微小扰动下仍保持原决策的概率决定;针对非局部化攻击,则提出经标定的经验模型来刻画脆弱性。在评测器安全方向,作者设计了 ASA——一种自适应进化式黑盒攻击方法,用于攻击 LLM-as-a-Judge 系统,最高攻击成功率(ASR)达 73.8%,在开放模型之间的迁移成功率最高 62.6%,说明评测器本身可被系统性操纵。在后门检测方向,论文在 Trojan Detection Challenge 2023(Pythia-1.4B)数据上显示,基于代理触发器可取得约 0.99 的 REASR,但对真实触发器的召回率仅约 0.17(基线约 0.14),揭示现有检测方法易过拟合到代理触发器而非真正识别后门。在防御绕过方向,作者基于 SaTML CTF 2024 的经验,将多层防御的绕过方式归纳为四类,可将 ASR 从 90% 压降到 15–25%。在集成防御上,由 5–7 个异构模型组成的委员会可把 Gemma-3-4B 的 ASR 降低 47–55 个百分点,7 模型配置下降至 19.3%。面向基于模型上下文协议(MCP)的智能体系统,论文提出 AttestMCP,用 HMAC 保护的数据包对工具调用进行证明,单次调用开销低于 0.1 毫秒,并提出 Commit Boundary 隔离模式;在包含 847 个场景的 MCPBench 上,二者将平均 ASR 从 53.7% 降至 12.4%。所有方法均落地为 JudgeGuard、TrojanArmor 软件套件与 MCPSec 模块,形成从理论度量、攻击评估到工程防御的完整闭环。

💡 推荐理由: 它把 LLM 评测器(LLM-as-a-Judge)与 MCP 工具调用链明确当作可被攻陷的攻击面,并给出了可量化的 ASR 基线与可落地的缓解手段,对构建 LLM 应用与 Agent 平台的防御方具有直接参考价值。

🎯 建议动作: 研究跟进:精读论文与 JudgeGuard / TrojanArmor / MCPSec 的实现思路,并纳入内部 LLM 评测器与 MCP Agent 安全评估基线。

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
👥 作者: Jian Xu

该论文研究智能体式视频生成系统中的验证器污染问题。在这类“生成器—验证器”闭环中,LLM 先规划分镜并调用文生视频模型,再由多模态评审模型判断产出是否满足用户要求。为便于定位长流程中的失败环节,近期评测框架会有意把视频之外的信息一并交给评审模型,包括智能体的执行轨迹、规划文本、合成旁白等。作者提出的核心问题是:在视频帧保持完全不变的前提下,这些辅助文本是否会改变评审模型对“纯视觉要求”的判定? 作者构建了含 109 段生成视频(每段两个事件)的基准集并人工标注,标注区分“所请求事件在画面上确实完成”与“确实缺失”。实验显示:当执行轨迹声称工具调用成功时,三个开源权重 Qwen-VL 评审模型(7B、8B、32B)会把 78%~90% 的失败样本判为通过,而无文本时该比例仅 7%~19%;反过来给出与事实矛盾的轨迹,可使最多 100% 的正确视频被拒。即便明确提示“只依据画面帧判断”,效应依旧存在。前沿闭源评审模型在同批样本上基本不受影响,说明该脆弱性源于评审模型对工具日志的学习式信任,而非任务本身难度。 作者进一步指出,规划派生的文本不含任何与具体视频片段相关的信息,因此它只能整体平移评审模型的判定阈值;在“修复循环”中,这种平移形成真实通过率的上限,任何修复策略都无法超过,且该上限与仿真结果在小数点后两位吻合。更值得警惕的是,该污染无需对抗性智能体即可触发:一个诚实、始终重新生成的 LLM 规划器最终得到评审通过率 1.00,而人工标注通过率仅 0.28;另一条流水线中,廉价检查器把自身结论写入执行轨迹,从而将错误洗白并传导给更强的最终评审模型,产生 0.69 的误接受率。

💡 推荐理由: 它证明多智能体/LLM 流水线中“验证器可信”这一前提可被非对抗性的上下文污染击穿:执行轨迹、规划文本、上游检查器结论都会系统性偏移评审阈值,并直接转化为修复循环中无法突破的通过率上限。凡把裁判模型用于自动验收或自评的团队都应重新审视验证器的输入隔离。

🎯 建议动作: 研究跟进,并纳入内部智能体评测与裁判模型可靠性评估

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)