#state-space-models

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Yufan Zhu, Chao Jin, Khin Mi Mi Aung, Xiaokui Xiao

该论文针对长文本隐私推理中的性能瓶颈问题,提出了一种名为FESC(Factorized Encrypted Scan-Contract)的混合FHE-MPC系统。传统隐私推理系统主要优化或分布式实现Transformer的加密注意力机制,但注意力机制的二次方token-pair计算复杂度随着序列长度增长成为主要瓶颈。状态空间模型(SSM)具有线性时间递归特性,但直接加密实现会导致线性乘法深度、全序列状态驻留或密集的FHE-MPC转换开销。FESC通过因子化扫描-收缩(factorized scan-contract)方法,将输入相关的状态转换保持紧凑并跨越转换边界,无需密集扩展即可组合,按需流式传输状态块,并在转换前收缩输出。该系统展示了扫描-收缩实现在不变和选择性SSM架构上的接口兼容性。论文针对Mamba-2实例设计了GPU优化的CKKS核用于线性计算,以及针对SiLU、softplus、指数和RMSNorm的MPC协议,并结合近似感知微调。据作者所述,FESC是首个在单GPU上完成L≥1024原生端到端执行的私有长文档推理系统。在L=2048时,12层Mamba-base模型在单个A100 GPU上完成推理耗时77.3分钟,峰值内存占用32.7GB,并在评估的长文档任务上保持接近明文精度的准确性。该研究为长上下文隐私推理提供了新的架构思路,证明了SSM在隐私计算中的可行性。适合对隐私保护机器学习、同态加密、安全多方计算以及大规模语言模型推理优化感兴趣的研究人员和工程师阅读。

💡 推荐理由: 该研究突破了长文本隐私推理的性能瓶颈,首次在单GPU上实现长序列SSM的端到端私有推理,为处理敏感长文档(如医疗记录、法律文件)提供了可行方案,对隐私计算与LLM结合的方向有重要推动作用。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Luis Brito

该论文提出了一种基于同态加密的状态空间模型(HSSM),用于在加密数据上执行序列推理任务。全同态加密(FHE)在序列模型中的应用面临旋转操作、密文乘积、密文物化、乘法深度和自举等成本问题。论文的核心创新是引入“公钥衰减”(public-decay)机制:将携带状态通过密文-明文公共衰减进行更新,而密文-密文乘法仅发生在局部写入路径上,从而在整个序列中保持固定加密状态。工作流程将客户端与服务器端分离:客户端负责分词、冻结的fastText词嵌入、投影、裁剪、加密、解密和阈值化;服务器端对边界投影特征执行加密评估。在完整的Rotten Tomatoes和SST-2验证集上,加密HSSM路径与明文分类完全匹配,准确率分别达到0.7505和0.7420。与同等工作负载下使用HE友好型多项式注意力相比,HSSM在保持或超越全序列任务质量的同时,运行速度快约5倍。在L40S上的操作级性能对比显示,HSSM比缓存最终令牌的多项式注意力延迟低1.34-1.62倍,比全序列多项式注意力延迟低30-258倍,且加密状态占用空间更小。T=16/32的比较器实验表明,在深度8/环大小32768参数下,带有加密公共线性输入和Q/K/V投影的HSSM成功运行,而投影注意力需要深度10/环大小65536。在OpenFHE/FIDESlib上的T=8跟踪测试显示,两个后端均在最终层级3和噪声尺度2完成。这些结果表明,公钥衰减机制是一种实用的FHE协同设计杠杆,可用于基于边界投影特征的加密序列推理。该研究适合对同态加密、隐私保护机器学习、序列模型效率优化感兴趣的学者和工程师。

💡 推荐理由: 提出了一种在同态加密下高效执行序列推理的新架构,显著降低了延迟和资源消耗,使加密推理更接近实用,对隐私计算领域具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)