随着检索增强生成系统在问答任务中广泛应用,其提供的引用往往无法反映真实的信息来源影响。本文提出ProvenAI框架,将多跳问答中的透明度分解为三个独立可测量的层次:答案正确性(answer correctness)、引用保真度(citation fidelity)——衡量引用是否匹配基准支持证据,以及逐文档影响(per-document influence)——通过留一个资源出的干预实验评估每个文档对答案的实际贡献。针对HotpotQA distractor基准,ProvenAI构建包含七阶段流水线(数据标准化、检索索引、引用感知答案生成、归因审计、基于消融的影响估计、批量评估、交互检查)的系统,在509,300段落的经典语料库上评估了7,405个验证样本。系统达到53.53%的答案准确率和71.55%的平均引用保真度分数。通过一个工作示例,揭示了引用-影响差距:某被引用来源仅有微弱影响,而七个未引用来源却显著改变了输出。论文通过声明的忠实性条件形式化了表面代理与token级KL散度目标之间的关系,将框架扎根于因果中介分析和数据库来源理论,并讨论了三个测量层如何与自主科学发现中出现的加密来源架构组合。ProvenAI表明,检索增强问答中有意义的透明度要求将检索到的、引用到的和行为上有影响的证据作为三个独立、独立测量的层进行可追溯链接。
💡 推荐理由: 检索增强生成系统在安全情报分析中广泛应用,但其引用未必反映真实证据来源,可能导致误信或错误决策。ProvenAI提供的三层透明度框架可帮助安全工程师识别虚假引用和实际影响源,提升RAG系统输出的可信度。
🎯 建议动作: 研究跟进