本文针对基于全同态加密（FHE）的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种，导致密文槽利用率低、旋转操作过多、密文数量膨胀，严重制约了推理效率。为此，作者提出了一种统一的、基于片段编码的框架 FEnc²，该框架面向 CKKS 方案，旨在优化卷积神经网络秘密推理中的密文布局。FEnc² 包含两个核心组件：1）卷积感知编码（Conv-aware Encoding），通过分析选择最优的片段大小来解耦空间依赖，并在各层间联合最小化内旋转与外旋转次数；2）架构感知密文压缩（Arch-aware Ct Compression），在特征或通道缩减层后恢复密文密度，减少密文数量。这些变换共同重塑了加密工作负载结构，将同态运算量降低一至两个数量级。在充分利用内存（即最大批处理大小）的条件下，FEnc² 在 MNIST 数据集上的 LeNet 模型上对比现有最优系统 Orion，实现了 GPU 端加速比高达 228.83 倍、CPU 端加速比高达 226.06 倍；在 ImageNet 上的 MobileNet 模型上实现了 GPU 端 4.55 倍、CPU 端 9.43 倍的端到端延迟加速。FEnc² 与硬件无关但具有架构变革性：通过在执行前优化加密张量布局，减少了密文数量和对硬件的计算压力，可补充 NTT 和密钥切换加速器等底层优化。实验表明，应用层的数据布局是加密推理中首要的架构设计维度，也是下一代 FHE 系统的重要使能技术。

本文提出REDsec框架，旨在解决机器学习即服务(MLaaS)中的隐私泄露问题。传统MLaaS需要用户将敏感数据明文发送给服务商，存在隐私风险。全同态加密(FHE)允许在加密数据上直接计算，但计算开销巨大。REDsec利用三元神经网络（权重约束为{-1,0,1}）的特殊性质，在FHE域中高效实现推理。核心创新包括：1）一种新的数据重用方案，首次实现FHE中整数域与二进制域的双向桥接，从而高效支持二进制运算（如乘法、激活）和整数域加法；2）配套的GPU加速库(RED)cuFHE，支持多GPU上的二进制和整数运算。REDsec支持用户自定义模型（Bring-Your-Own-Network）、自动明文训练以及基于TFHE的私有推理高效评估。在MNIST、CIFAR-10和ImageNet数据集上的实验表明，相比现有工作，REDsec在推理性能上取得显著提升。本文主要贡献在于提出了一个实用、高效的基于FHE的私有MLaaS推理框架，降低了延迟至秒级，为隐私保护机器学习应用铺平了道路。