#bias

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Xing Zhang, Yanwei Cui, Guanghui Wang, Ziyuan Li, Wei Qiu, Bing Zhu, Peiyang He

自进化智能体通过观察技能执行失败来淘汰不良技能,从而保持技能库的质量。然而,当智能体依赖无参考任务的LLM作为评判者时,评判者的偏见可能导致技能淘汰机制失效。本文通过有偏奖励分析,理论证明偏见并非简单增加噪声,而是会无声地关闭技能淘汰功能。在确定性奖励基础上注入偏差的行为实验表明,对称噪声不影响技能淘汰,但假阳性偏差(失败被误判为通过)超过一个阈值后,会完全禁用基于贡献的淘汰机制,且无法通过增加数据弥补。通过区分真正的技能淘汰与因容量限制导致的剔除,发现机制失效具有普适性,跨领域和失败率均成立,仅当偏差接近零时才能避免。下游影响呈现阶段性:当相同的偏差也导致技能合成受阻时,评估质量下降;否则评估指标保持稳定,使得淘汰失效难以被检测。本文贡献在于行为安全结果而非性能提升,并提出一种廉价的缺陷注入审计方法,帮助运营者在部署前判断其评判者是否处于危险阈值之上。研究面向LLM智能体安全与可靠性领域,适合AI安全工程师、智能体架构师及LLM评估研究者。

💡 推荐理由: 揭示LLM评判者偏见对自进化智能体技能淘汰机制的隐性威胁,可能导致系统积累不良技能而无法自我修复,对部署长期自主智能体构成安全风险。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)