本文提出 TEE-X,一个面向可信执行环境(TEE)的加速框架,旨在解决大型视觉模型(如 Vision Transformer, ViT)在边缘设备上部署时面临的内存限制和计算延迟问题。研究背景是:机器学习模型,尤其是视觉应用,容易受到多种安全威胁;白盒与黑盒威胁模型的差异影响攻击有效性。使用 TEE 可以通过保护模型机密性和执行完整性,将执行环境从白盒侧转移到黑盒侧,从而增强安全性。然而,将大型视觉模型完全放入 TEE 会带来显著的内存和延迟开销,尤其在安全性和隐私至关重要的实时边缘应用中。TEE-X 的核心方法包括:1) 灵敏度感知的模块化技术,将模型分解为不同敏感度级别的模块,以实现更精细的 TEE 内执行;2) 在 TEE 推理中引入向量化,提高计算效率。该框架在 OP-TEE(Arm TrustZone)上实现,并在 NVIDIA Jetson AGX Xavier 上针对 ViT 模型进行了性能优化。实验结果表明,TEE-X 能够在保证模型准确性和低延迟的前提下,实现安全快速的边缘推理,有效平衡了精度与性能。该工作为在资源受限的边缘设备上安全部署大型视觉模型提供了一种可行的加速方案。适合对 TEE、边缘 AI 安全、模型机密性和性能优化感兴趣的研究人员和工程师阅读。
💡 推荐理由: 为边缘端大视觉模型提供TEE内高效推理方案,在保障模型机密性与执行完整性的同时缓解延迟瓶颈,对自动驾驶、医疗影像等实时安全敏感场景有直接参考价值。
🎯 建议动作: 研究跟进