#approximation-optimization

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Jianhang Xie, Sicheng Tan, Vishnu Naresh Boddeti, Zhichao Lu

全同态加密(FHE)为隐私推理提供了强加密保障,但在FHE下部署Transformer模型仍然代价高昂。关键瓶颈在于softmax、归一化和激活等非线性运算必须替换为与CKKS方案兼容的多项式近似,而近似消耗的乘法深度主导了推理成本。现有框架虽然改进了近似技术,但都依赖手动配置近似超参数(如迭代次数、多项式次数),并统一应用于所有层。这种统一配置方法过于僵化:不同层能容忍不同程度的近似误差而不影响预测精度,统一配置无法利用这种差异性来降低延迟。然而,允许每层采用自己的配置会导致搜索空间随模型深度爆炸:对于BERT/ViT(12层)约为10^84种配置,对于LLaMA3(32层)约为10^225种,使得手动探索几乎不可能。为此,本文提出ATLAS,一个自动化框架,通过将问题表述为延迟和预测精度的多目标优化来配置每层近似设置。该问题本身非常困难:(1)在大决策空间(BERT/ViT为120或320变量,LLaMA3类似)上的竞争目标;(2)评估代价高昂,即使在明文下每个配置也需要70-1000秒;(3)优化信号稀疏,35-50%的候选配置产生数值无效解。ATLAS通过两阶段优化策略应对这些挑战,该策略逐步放宽逐层约束,并结合代理模型加速评估。实验表明,ATLAS能在一小时内为BERT/ViT和LLaMA3找到高效的逐层近似配置,大幅降低FHE推理延迟同时保持精度。

💡 推荐理由: 该研究首次实现了自动化、高效的逐层多项式近似配置,解决了FHE下Transformer推理的关键瓶颈,显著降低延迟,推动隐私保护机器学习实用化。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)