本文提出了GALA（Greedy ComputAtion for Linear Algebra in Privacy-Preserved Neural Networks），旨在优化隐私保护神经网络中基于同态加密（HE）的线性计算效率。在现有的隐私保护机器学习服务（MLaaS）框架中，如GAZELLE、DELPHI和CrypTFlow2，HE线性计算占用了绝大部分计算时间，其中置换（Perm）操作是点积和卷积最耗时的部分。GALA通过以下两项创新减少置换操作：1）采用行优先权重矩阵编码，并结合GC非线性计算所需的共享生成，减少点积中的置换次数；2）设计先加法后置换的核分组方法，减少卷积中的置换操作。实验表明，GALA在不同数据维度下可将点积速度提升高达700倍，卷积计算速度提升14倍；集成到GAZELLE后，总体运行时间加速2.5至8.3倍。GALA可作为即插即用模块，显著提升现有隐私保护神经网络框架的效率。