#execution-provenance

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Yiqi Wang, Jiaqi Zhang, Taotao Cai, Zirui Liu, Qingqiang Sun, Zequn Sun, Zhangkai Wu, Mingkai Zhang, Yanming Zhu

本文系统综述了基于大语言模型(LLM)的智能体中证据追踪与执行溯源问题。随着LLM智能体通过与外部工具、检索系统、记忆模块、环境及其他智能体交互解决复杂任务,其自主性增强,但行为验证、调试和审计难度增加。仅靠最终答案正确性无法解释输出如何产生、每个主张依赖哪些证据、工具调用是否合理、记忆如何影响后续决策、以及执行失败的根源。证据追踪与执行溯源通过建模智能体执行过程中检索证据、工具输出、记忆项、环境观察、中间主张、动作与最终答案之间的关联来弥补这一空白。本文提出统一溯源视角,连接检索归因、主张支持、工具使用安全、记忆谱系、可观测性、调试、审计与恢复。引入分类法涵盖追踪来源、证据与执行单元、溯源关系、追踪粒度与时机、表示形式及信任函数。综述关键方法论方向,包括溯源表示、证据归因、工具使用溯源、运行时护栏、携带溯源的记忆、基于轨迹的可观测性及故障诊断。同时映射现有基准、数据集与评估指标至溯源相关能力,讨论评估如何从最终答案正确性转向过程级问责。最后,概述开放挑战,如统一轨迹模式、主张级与语义溯源、感知溯源的安全机制、真实执行轨迹基准、面向恢复的评估及隐私感知审计基础设施。本文适合AI安全、LLM可靠性及智能体治理领域的研究者和工程师阅读。

💡 推荐理由: 该综述系统梳理了LLM智能体可解释性与可信性的核心挑战,提出了统一溯源框架,为构建可审计、可调试的智能体系统提供了理论基础,对AI安全从业者理解智能体行为追踪与风险管控具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)