本文提出 Spruce,一种可扩展的私有外包检索方案,针对检索增强生成(RAG)中大规模文档集合的密集检索场景。随着组织将向量索引外包给不可信云,专有语料库与用户查询面临泄露风险。密码学保护面临挑战:每次查询需搜索语料库规模的状态,导致计算、关联随机性和通信量随语料规模线性增长。在百万文档规模下,朴素安全实现每次查询需数分钟并产生约 90GB 通信,最先进的优化系统仍需 10-22 秒。Spruce 的核心思路是协同设计文档表示与密码学协议:学习紧凑的二元编码,保留用于全精度重排序的候选集,从而将语料库级别的嵌入评分替换为基于汉明距离的高效计算,并运行在两方多方计算(MPC)协议下。该方法采用语料库校准的固定半径协议,避免多轮候选选择同时保持检索质量。Spruce 还提供私有聚类剪枝,以轻微质量损失换取显著计算量减少;并引入单核所有者运行的 dealer 节点,消除云 OT 预处理瓶颈。在包含 383K 至 5.42M 文档的四个语料库上,Spruce 保持了原始搜索质量,中位候选集大小仅 382 至 1,952。在 10 Gbps 服务器间带宽下,全量扫描耗时 0.21-2.97 秒,比最接近的现有工作快 4.8-6.7 倍;私有剪枝耗时 0.06-1.09 秒,加速 13.1-22.9 倍,并保留全浮点 NDCG 的 93.9%-97.3%。在最大语料库上,剪枝与 dealer 结合使 1 Gbps 链路下的持续吞吐量提升 31.5 倍。本文适合对隐私保护检索、RAG 安全、MPC 与表示学习交叉领域感兴趣的研究人员与安全工程师阅读。
💡 推荐理由: RAG 中向量索引外包给云带来语料与查询泄露风险,Spruce 首创表示学习与密码协议协同设计,将百万级检索延迟降至秒级,为隐私保护向量检索提供了实用化路径。
🎯 建议动作: 研究跟进