ROSETTA: Efficient and Accurate Privacy-Preserving LLM Decoding via Hybrid CKKS/TFHE Evaluation
该论文关注大模型私有推理中的性能瓶颈问题。生成式 LLM 在代码生成、问答等任务上表现优异，但其自回归解码（autoregressive decoding）逐 token 顺序生成，部署时会将用户输入与提示暴露给服务方，引发严重隐私顾虑，因
#privacy-preserving-inference
共收录 4 条相关情报。
← 返回所有主题Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation
该论文面向一个日益突出的现实矛盾：开源大模型（LLM）在能力上已可与闭源模型竞争，并且允许用户在不把输入暴露给服务商的前提下本地推理，但大规模模型对本地算力要求极高，因此大量用户仍不得不租用第三方算力，从而重新引入隐私泄露与计算结果被篡改（
Encrypt What Matters: When Selective Homomorphic Inference Is Efficient
该论文研究的是"选择性同态推理"(selective homomorphic inference) 这一隐私保护推理范式。背景是: 全同态加密 (FHE) 允许服务端在完全不解密用户数据的前提下完成模型推理, 隐私性最强, 但代价是把整个输
FEnc$^2$: Unifying Data Packing for Efficient Private Inference via Convolution and Architecture-Aware Fragment Encoding
本文针对基于全同态加密（FHE）的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种，导致密文槽利用率低、旋转操作过多、密文数量膨胀，严重制约了推理效率。为此，作者提出了一种统一