本文提出REDsec框架，旨在解决机器学习即服务(MLaaS)中的隐私泄露问题。传统MLaaS需要用户将敏感数据明文发送给服务商，存在隐私风险。全同态加密(FHE)允许在加密数据上直接计算，但计算开销巨大。REDsec利用三元神经网络（权重约束为{-1,0,1}）的特殊性质，在FHE域中高效实现推理。核心创新包括：1）一种新的数据重用方案，首次实现FHE中整数域与二进制域的双向桥接，从而高效支持二进制运算（如乘法、激活）和整数域加法；2）配套的GPU加速库(RED)cuFHE，支持多GPU上的二进制和整数运算。REDsec支持用户自定义模型（Bring-Your-Own-Network）、自动明文训练以及基于TFHE的私有推理高效评估。在MNIST、CIFAR-10和ImageNet数据集上的实验表明，相比现有工作，REDsec在推理性能上取得显著提升。本文主要贡献在于提出了一个实用、高效的基于FHE的私有MLaaS推理框架，降低了延迟至秒级，为隐私保护机器学习应用铺平了道路。