#hnsw

共收录 3 条相关安全情报。

← 返回所有主题
推荐 3.7
Conf: 50%
👥 作者: Sean Culatana, Kang Li

该论文聚焦检索增强生成(RAG)系统中的隐私删除问题。当前大量 RAG 应用依赖基于图的近似最近邻(ANN)向量索引,这类索引在收到删除请求后,往往只是把被删除的向量 ID 从返回结果中过滤掉,索引的搜索图本身并不会立即重建。作者指出,这种“删除”只是输出层面的安全:虽然被删除的标识符不再出现在返回结果里,但在图的遍历过程中,算法仍会对这些已删除向量的嵌入做距离计算(打分),从而在进程内部重新暴露本应删除的数据。作者把这一被忽视的差异形式化为“输出安全(output safety)”与“遍历安全(traversal safety)”两个概念,并提出 TSD-AUDIT 框架,用于审计并强制实现基于图的 ANN 检索中的“遍历安全删除”。该框架的核心是 alive-before-scoring 不变量:只有仍存活的候选节点才能参与打分;删除后仅使用存活候选来修复图连通性,避免删除导致召回退化;同时为每个查询生成可核验的“打分轨迹证书(scored-trace certificate)”,由独立验证方对照删除快照进行检查,从而让删除是否真正生效变得可证明而非仅靠信任。实验方面,作者在 Faiss 的 IndexHNSWFlat 上验证:原生过滤机制相对于未过滤检索,其距离计算次数完全不变;在 70% 删除率下,采用忠实复现遍历轨迹(trace-faithful replay)的审计方式,在全部 100 条受审计查询中都检出了对已删除向量的打分行为。对 hnswlib 中 mark_deleted 路径的代码审查也发现同样的“先打分、后判断存活”模式。在区域定向删除(region-targeted deletion)场景下,TSD-AUDIT 在删除比例 0.5 至 0.9 区间内把 Recall@10 相对原生过滤提升 4.3 至 42.2 个百分点,在随机删除下召回水平则保持相当。结论是:仅审计输出结果会遗漏过程级的数据暴露,向量检索中的删除审计必须把检索过程中被打分的向量纳入考察范围,而不能只看最终返回了哪些 ID。

💡 推荐理由: 很多团队把“删除接口不返回该 ID”当成合规完成,但论文证明被删向量仍在图遍历中被打分,属于过程级隐私残留。对做 RAG、向量库治理与 GDPR/CCPA 被遗忘权合规的安全与隐私工程师而言,这是一种容易被审计漏掉的暴露面,值得重新设计删除审计口径。

🎯 建议动作: 研究跟进,并纳入内部 RAG/向量数据库删除合规评估

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.7)
推荐 8.6
Conf: 50%
👥 作者: Nikolay Avramov, Hidde Lycklama, Alexander Viand, Anwar Hithnawi

该论文关注语义检索的可验证性问题。现代应用的推荐系统、网页搜索与大模型 RAG(检索增强生成)都依赖语义检索:服务提供方掌握索引并执行查询,客户端只能被动信任结果确实由约定算法在指定索引上产生。恶意或成本敏感的提供方可能截断检索结果、引入排序偏差,甚至悄悄偏离约定执行流程而不被察觉。可验证检索通过零知识证明消除这一信任假设——在不泄露索引的前提下证明结果确实按照约定算法在已承诺的索引上得出。然而要高效实现这一目标非常困难:大规模检索依赖 HNSW 这一基于图的近似最近邻算法,其数据依赖的遍历路径难以映射到零知识证明固定的约束系统上。已有可验证系统因此退而求其次,采用规则化、基于聚类的索引结构,编码更简单,但牺牲了图检索的召回率。本文提出 Atlas:其核心是一套针对 HNSW 搜索的新型零知识证明,由三项技术构成——(1) 预处理把所有与数据库规模相关的开销转移到离线阶段,使单次查询的证明开销只随遍历过程而非数据库规模增长;(2) 将 HNSW 重构为固定大小状态的流程,并证明该重构返回与原算法相同的结果;(3) 时间步标记批处理,把整个遍历中每一步的论证合并为一个。Atlas 是首个在规模化场景下演示可验证图检索的系统:在 SIFT1M 基准上单查询证明耗时低于一秒,在 1 亿向量规模下为 2.0 秒,同时保持与明文 HNSW 相同的召回率,并且除检索结果本身外不泄露任何索引信息。在完整 RAG 流水线中,Atlas 的可验证检索保持端到端答案质量,且相比此前所有可验证检索系统,在更低证明成本下达到更高答案质量。适合关注可信 AI 基础设施、隐私增强技术、向量数据库与 RAG 安全的研究者与工程师阅读。

💡 推荐理由: RAG 与向量检索已成为企业 AI 应用的关键信任边界:索引与查询执行由单一提供方控制,结果可被截断或偏置而难以察觉。Atlas 首次让图索引(HNSW)的大规模检索具备可证明的正确性且不泄露索引,为'可验证 AI 基础设施'提供了可落地的技术路线。

🎯 建议动作: 研究跟进:评估在该组织 RAG/向量检索链路上引入可验证检索的可行性及性能成本

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Chandranil Chakraborttii, Jackeline García Alvarado, Sitora Abdulofizova, Shivanshu Dwivedi

本文针对检索增强生成(RAG)流水线中广泛使用的分层可导航小世界(HNSW)向量数据库,揭示了软删除操作的严重安全隐患。当用户请求删除数据时,系统通常仅将记录标记为已删除,而实际嵌入在磁盘上保持不变,这违反了GDPR第17条和HIPAA等数据擦除与保留法规。作者在三个HNSW实现上验证,通过直接访问存储层的原始索引文件(绕过API)即可物理恢复已删除的向量。利用无需领域微调的Vec2Text反转模型,在多个真实数据集上展示了该漏洞:在维基百科在世人物数据集(BLP)上成功恢复25.5%的准确人名和46.4%的地理位置(ROUGE-L 0.185);在高度结构化的敏感数据(NIH Synthea数据集)上,患者年龄和性别的恢复率达到100%(ROUGE-L 0.290);在软删除的图像嵌入上,组织病理学切片的组织分类准确率为100%(p=1.02e-07),面部嵌入的top-1身份恢复率达99%(p<0.01)。作为防御,本文提出了Epoch密钥轮换机制:对向量进行加密,删除时丢弃密钥。该机制将观察到的PII恢复率降至0%,处理500个已删除向量仅需2.5毫秒(约0.005毫秒/条),并生成ECDSA签名的加密证明作为删除事件的可审计记录。本研究适合向量数据库开发者、RAG系统构建者、隐私合规工程师以及关注数据持久性安全的研究人员阅读。

💡 推荐理由: 该研究揭示了HNSW向量数据库中软删除操作被忽视的安全风险,直接威胁GDPR/HIPAA合规性,并提出了高效、可审计的防御方案(Epoch密钥轮换),对保障RAG系统中的敏感数据隐私具有重要实践价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.8)