#retrieval-augmented

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Mohammad Faizan, Dalal Alharthi

随着检索增强生成系统在问答任务中广泛应用,其提供的引用往往无法反映真实的信息来源影响。本文提出ProvenAI框架,将多跳问答中的透明度分解为三个独立可测量的层次:答案正确性(answer correctness)、引用保真度(citation fidelity)——衡量引用是否匹配基准支持证据,以及逐文档影响(per-document influence)——通过留一个资源出的干预实验评估每个文档对答案的实际贡献。针对HotpotQA distractor基准,ProvenAI构建包含七阶段流水线(数据标准化、检索索引、引用感知答案生成、归因审计、基于消融的影响估计、批量评估、交互检查)的系统,在509,300段落的经典语料库上评估了7,405个验证样本。系统达到53.53%的答案准确率和71.55%的平均引用保真度分数。通过一个工作示例,揭示了引用-影响差距:某被引用来源仅有微弱影响,而七个未引用来源却显著改变了输出。论文通过声明的忠实性条件形式化了表面代理与token级KL散度目标之间的关系,将框架扎根于因果中介分析和数据库来源理论,并讨论了三个测量层如何与自主科学发现中出现的加密来源架构组合。ProvenAI表明,检索增强问答中有意义的透明度要求将检索到的、引用到的和行为上有影响的证据作为三个独立、独立测量的层进行可追溯链接。

💡 推荐理由: 检索增强生成系统在安全情报分析中广泛应用,但其引用未必反映真实证据来源,可能导致误信或错误决策。ProvenAI提供的三层透明度框架可帮助安全工程师识别虚假引用和实际影响源,提升RAG系统输出的可信度。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Abdelrahman Abouelenein, Marwan Torki

该论文研究面向检索增强推理的差分隐私数据存储生成问题。现代设备端AI系统常依赖检索增强推理,需要共享或发布数据存储(datastore),但可能泄露个体隐私。差分隐私(DP)提供形式化保证,使个体贡献在对抗分析下不可区分。本文提出一种基于哈希的概率生成框架,用于创建和发布差分隐私数据存储。方法首先使用局部敏感哈希(LSH)将高维数据高效划分为多个桶(bucket),然后向每个桶的累积投票中添加校准的DP噪声,生成跨类别的概率分布。该方法适用于任何需要安全创建和发布键值数据存储的管道。在7个数据集上进行实验,样本量和类别数(2-14类)各异。在epsilon=5时,发布的DP数据存储在保持强隐私保护的同时,平均准确率仅下降2.6%。此外,对成员推断攻击的抵抗力进行基准测试,将攻击准确率降至53.60%。核心贡献包括:形式化定义差分隐私数据存储问题;提出实用的LSH+噪声注入框架;实验证明隐私与效用的平衡。适合隐私保护、检索增强系统、设备端AI的研究者和工程师阅读。

💡 推荐理由: 该研究解决了检索增强推理中数据存储共享的隐私泄露风险,提出的DP数据存储生成方法可平衡隐私与实用性,为设备端AI系统的安全部署提供关键技术支持。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)