该论文关注大模型私有推理中的性能瓶颈问题。生成式 LLM 在代码生成、问答等任务上表现优异，但其自回归解码（autoregressive decoding）逐 token 顺序生成，部署时会将用户输入与提示暴露给服务方，引发严重隐私顾虑，因此出现了基于全同态加密（FHE）的私有推理框架。现有 FHE 框架的核心缺陷在于非线性算子（如 Softmax、激活函数等）的同态评估效率极低，其开销在解码阶段占据主导，导致端到端延迟不可接受。作者观察到解码阶段的非线性运算负载模式并不一致，存在异质性，因而适合用混合方案分别处理。基于此提出 ROSETTA 混合 CKKS/TFHE 框架，包含两项关键贡献：一是基于 TFHE 的自适应分段查找表（segmented lookup-table）协议，用于高效且精确地评估非线性运算，缓解 TFHE 在精度与电路规模上的取舍；二是方案感知的算子选择框架，能够自动判定每个非线性算子交由 CKKS 还是 TFHE 执行，以最小化端到端解码延迟，实现两种同态方案在精度、吞吐与延迟上的互补。实验中，ROSETTA 相较当前最优框架 CacheMir 在 Softmax 上取得最高 4.8 倍加速，端到端解码取得 1.5 至 2.1 倍加速。该工作属于隐私保护机器学习与同态加密系统工程交叉方向，适合从事机密计算、隐私推理加速、密码工程以及需要在合规敏感场景中部署 LLM 的研究者与工程师阅读。

该论文面向一个日益突出的现实矛盾：开源大模型（LLM）在能力上已可与闭源模型竞争，并且允许用户在不把输入暴露给服务商的前提下本地推理，但大规模模型对本地算力要求极高，因此大量用户仍不得不租用第三方算力，从而重新引入隐私泄露与计算结果被篡改（正确性）两类风险。现有解决方案要么给服务端带来巨大的计算与通信开销，要么依赖额外的信任假设（如可信硬件、可信第三方或重量级密码学设置），难以在真实部署中落地。作者提出 Maverick：一种基于「矩阵-向量乘法委托」协议的私有且可验证的 LLM 推理方案。之所以选矩阵-向量乘法，是因为它是 LLM 推理中占据主导地位的算子，把这一原语做扎实，就能以模块化方式覆盖整体推理流程。Maverick 的核心贡献，据作者所述，是首个针对矩阵-向量乘法委托的、具有信息论级可靠性（information-theoretically sound）的验证协议，其特点包括：透明预处理（transparent preprocessing，即不需要可信初始化或秘密陷门）、高效的批量验证，以及几乎不增加服务端开销。在隐私方面，作者把该验证原语与基于 LPN（Learning Parity with Noise）难题的伪随机掩码结合，为客户端输入提供隐私保护——即服务端在计算过程中无法获知用户真实输入，而用户仍能验证返回结果的正确性。作者实现了该矩阵-向量委托原语，并据此搭建了 Maverick 的端到端原型，在 Qwen3-4B 模型上以每秒 token 数（throughput）为指标进行评测，覆盖 1 至 8 个客户端线程的配置。实验结果显示：在单客户端线程、服务端为最多 128 线程的 CPU 场景下，相比本地推理，掩码在线生成时吞吐最高提升 17 倍，掩码预计算时为 45 倍，仅做验证时为 44 倍；在四客户端线程下，对应提升分别为 13 倍、18 倍和 17 倍。当服务端算力不再是瓶颈时，作者用带模拟网络延迟的客户端微基准测试进一步测量，得到 12 倍至 20 倍、34 倍至 135 倍、38 倍至 157 倍的加速区间。该工作适合关注隐私保护推理、可验证计算、密码学协议工程以及 LLM 服务化基础设施的研究者与安全工程师阅读。

该论文研究的是"选择性同态推理"(selective homomorphic inference) 这一隐私保护推理范式。背景是: 全同态加密 (FHE) 允许服务端在完全不解密用户数据的前提下完成模型推理, 隐私性最强, 但代价是把整个输入都放进密文域计算, 开销极高, 尤其在深层网络上会迅速变得不可接受。作者提出的折中方案是: 只对输入中真正敏感的区域 (region of interest, ROI) 进行加密, 而与该区域无关的计算全部在明文域执行。论文强调, 这种选择性评估在网络架构不做任何重训练的前提下, 能够产出与"对整个输入做全 FHE 推理"完全一致的输出, 因此不损失模型精度, 只改变计算代价。 核心问题是: 这种混合模式在什么条件下才真正高效? 作者给出的解释是, 收益取决于"加密依赖"在网络中扩散的速度——一旦某个后续张量元素的计算依赖于被加密的 ROI, 该元素就必须一起进入密文域, 密文计算量因此随依赖传播而膨胀。对于较小的加密 ROI, 保局部性的架构 (计算只在小邻域内耦合, 例如局部感受野的卷积结构) 可以把加密依赖限制在很小的子张量内, 从而获得数量级的同态求值加速; 相反, 具有"早期全局混合"特性的架构 (例如在浅层就引入全局注意力、全局池化或其他跨位置聚合的结构) 会让加密依赖在前几层就扩散到整个特征图, 等于退化为全密文推理, 几乎没有任何加速可言。 论文的主要贡献可归纳为: (1) 提出并形式化了选择性同态推理的概念, 明确了它相对全 FHE 的等价输出与不重训练特性; (2) 用"加密依赖扩散速度"作为解释性机制, 把推理开销与网络架构的局部性联系起来; (3) 通过实验表明, 局部性保持型架构可获得数量级加速, 而早期全局混合架构基本无收益。结论是: 局部性 (locality) 是决定选择性同态推理收益的关键架构属性。 适合阅读的人群包括: 从事隐私保护机器学习、机密计算、FHE 推理系统优化的研究者与工程师; 需要在合规约束下设计或选型模型架构的架构师; 以及关注模型侧隐私泄漏面与加密边界的合规/安全人员。

本文针对基于全同态加密（FHE）的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种，导致密文槽利用率低、旋转操作过多、密文数量膨胀，严重制约了推理效率。为此，作者提出了一种统一的、基于片段编码的框架 FEnc²，该框架面向 CKKS 方案，旨在优化卷积神经网络秘密推理中的密文布局。FEnc² 包含两个核心组件：1）卷积感知编码（Conv-aware Encoding），通过分析选择最优的片段大小来解耦空间依赖，并在各层间联合最小化内旋转与外旋转次数；2）架构感知密文压缩（Arch-aware Ct Compression），在特征或通道缩减层后恢复密文密度，减少密文数量。这些变换共同重塑了加密工作负载结构，将同态运算量降低一至两个数量级。在充分利用内存（即最大批处理大小）的条件下，FEnc² 在 MNIST 数据集上的 LeNet 模型上对比现有最优系统 Orion，实现了 GPU 端加速比高达 228.83 倍、CPU 端加速比高达 226.06 倍；在 ImageNet 上的 MobileNet 模型上实现了 GPU 端 4.55 倍、CPU 端 9.43 倍的端到端延迟加速。FEnc² 与硬件无关但具有架构变革性：通过在执行前优化加密张量布局，减少了密文数量和对硬件的计算压力，可补充 NTT 和密钥切换加速器等底层优化。实验表明，应用层的数据布局是加密推理中首要的架构设计维度，也是下一代 FHE 系统的重要使能技术。