本研究针对 OWASP Top 10 for LLM Applications 榜单,检验社区专家排名与真实世界 LLM 安全事件记录的一致性。作者从 CVE、GHSA、OSV 和 AIAAIC 等来源收集了大规模事件语料库,包含 7,714 个快照、6,639 个按 20 项分类法标注的事件。他们采用贝叶斯测量误差模型,对每个类别的事件计数进行分类器精确率和召回率的校正,从而得到基于事件数据的排名。2026 年候选名单以固定权重(专家投票 0.75、数据 0.25)融合两种信号,使数据能在不推翻共识的前提下修正共识。研究发现两个排名之间的整体一致性很弱:Cohen's κ 约为 0.20,且 90% 置信区间跨越零点,说明专家排名与事件数据排名无明显统计关联。尽管如此,专家排名本身仍具有稳健性:一项预注册的四个前沿分类器对比测试未产生胜者,所有分类器都无法超越发生率下限的平衡准确率 0.863;对保留的真实地面实况进行检验后,发生率下限的排序仍保持极高的相关性(Spearman ρ=0.918)。作者强调,这是两位工作组成员的探索性分析,并非官方 OWASP 发布,也不取代官方列表或流程。该研究为 LLM 应用风险评估提供了数据驱动的方法论,并揭示了社区专家直觉与真实事件之间可能存在的鸿沟。
💡 推荐理由: OWASP Top 10 是业界广泛使用的 LLM 安全参考,但基于专家投票。本文用大规模真实事件数据验证,发现专家排名与事件数据弱相关,提醒安全团队在依赖榜单时需结合自身威胁模型和事件数据,也为榜单的改进提供了可复用的方法论。
🎯 建议动作: 研究跟进