联邦学习（FL）允许多机构在不共享原始数据的情况下联合训练临床文本模型，但梯度反演可能从共享的模型更新中重建敏感信息。本文系统量化了放射学报告中基于梯度的文本重建风险，并比较了三种分词器（GPT-2、RadBERT、LLaMA-2）对隐私泄露的影响，同时保持模型架构（GPT-2风格Transformer，序列长度32）固定。实验涉及六个FL客户端，在公共放射学语料库（368,751份诊断报告、98,206份出院小结、1,500份MIMIC-CXR自由文本报告）上训练，批大小设置为64、128和256。假设存在主动恶意的服务器，在分发前修改共享架构，作者应用解析梯度反演方法，测量五次运行的重建保真度。结果显示，不同分词器的精确句子重建率为31%至44%（在27个分词器×数据集×批大小的组合中为30.6%至43.5%）。在出院数据集上，批大小为64时，GPT-2、RadBERT和LLaMA-2的准确率分别为42.1%、42.3%和39.4%；批大小增至256时，分别降至37.3%、37.2%和34.3%。S-BLEU随批大小增加而下降（GPT-2：0.44降至0.33；RadBERT：0.48降至0.35）。RadBERT取得了最高的重建保真度，并恢复了最多的临床术语（占1,440个参考词汇的18.1%，而GPT-2为12.5%，LLaMA-2为9.4%）。然而，没有分词器能完全防止泄露。研究表明，即使在较大批大小和领域专用分词器下，报告文本的相当大一部分仍可从FL梯度中恢复。分词器设计不仅影响效用，还影响隐私风险严重程度；要满足HIPAA和GDPR对放射学NLP中FL的要求，可能需要安全聚合和差分隐私等保障措施。

该论文针对CPU侧大语言模型（LLM）分词器在机密计算环境（结合CPU和GPU可信执行环境）中存在的安全漏洞进行了深入研究。分词器通过表驱动查找将提示词转换为token，其内存访问模式会泄露用户输入的侧信道信息。已有工作证明，在Intel TDX上可以完整恢复用户提示词。直接使用树形不经意随机存取存储器（如PathORAM）虽然能防止访问模式泄露，但会导致分词器延迟增加约13倍，使首Token时间（TTFT）上升10%-58%。为此，本文提出OTRO（Oblivious Tokenization Path with Square-Root ORAM），一种针对延迟敏感的LLM服务的高效、无泄露的分词路径方案。OTRO基于平方根ORAM实现快速单次访问查找，但通过三项关键创新避免了平方根ORAM每√N次访问所需的昂贵的O(N log²N)重构开销：第一，利用分词器表的只读特性，提供一组复制的平方根ORAM实例池；第二，基于epoch的轮换策略将访问与重构解耦，并在每个epoch边界填充假访问以最小化可观测信息；第三，分块KV缓存感知的分词进一步将重构与GPU预填重叠，并最小化实例数量。在HuggingFace Tokenizers和nano-vLLM中实现，并运行于NVIDIA H100 GPU的TDX使能CVM中，OTRO将TTFT开销限制在最多4.5%，分词器引起的延迟低于总TTFT的10%，额外内存开销小于0.5GB，同时显著降低了分词器在不同模型系列和规模下的可观测泄露。研究贡献：提出一种实用的、针对LLM分词器的无泄露路径方案，在保持安全性的同时极大提升了性能，适合机密计算和隐私保护推理场景的研究人员及工程人员阅读。