本文提出了一种名为 P2Skill 的隐私保护技能蒸馏方法，用于云-本地大语言模型（LLM）推理系统。在典型的云-本地架构中，云端大模型提供强大的推理能力，而本地设备负责处理敏感用户数据。为了保护隐私，发送到云端的请求必须剥离个人身份信息（PII），防止外部数据泄露。现有方法如提示扰动、实体掩码或模型微调，往往会导致上下文语义扭曲或需要额外的训练开销。P2Skill 的核心思路是让本地小语言模型（SLM）通过遵循“技能提示”自主完成分解、PII 感知路由、释义和重建等操作。具体而言，云端大模型会根据本地 SLM 的执行失败案例迭代地优化技能提示，使得本地模型能够泛化处理未记忆的 PII 模式，而无需针对隐私进行专门的微调，也无需学习额外的辅助检测器。在四个领域的基准测试上，P2Skill 相比先前基线，隐私保留推理质量分别提升了 1.69 倍和 3.66 倍。该研究解决了隐私保护与推理质量之间的权衡问题，为云本地 LLM 系统提供了一种无需额外训练、即插即用的隐私保护方案。适合关注 LLM 隐私保护、边缘计算与云协同推理的研究者、系统设计者以及安全工程师阅读。

这篇论文针对大型语言模型（LLM）API服务中难以检测的未授权知识蒸馏问题，提出了一种新颖的交互层反蒸馏水印方案。现有防御手段主要在教师模型的输出token层面施加水印，例如绿名单水印、密码学方案或反蒸馏采样，但这些方法容易被攻击者通过改写（paraphrasing）绕过，因为攻击者可以改变输出文本而不损失核心知识。作者主张将水印提升到交互行为层面：在教师模型响应时，通过系统提示注入间歇性的行为标记，例如明确的追问（如“您需要进一步澄清吗？”）、低频词汇变体（如使用不常见的同义词）或声明性重述（如把答案换个说法重复一遍）。无意的蒸馏者会继承这些行为模式，而防御者可以通过黑盒查询，利用经过人类验证的LLM裁判（LLM-as-judge）来审计学生模型是否表现出类似行为。实验中，以Llama-3.3-70B-Instruct为教师，对63个经过LoRA蒸馏的学生模型（涵盖Gemma、OLMo、Qwen等架构）进行了评估，共判断35,343个样本。结果显示，行为水印在不同学生模型上的转移保真度分别为：Gemma 88.9%、OLMo 80.9%、Qwen 45.2%。在非自适应DIPPER改写攻击下，鲁棒性分解为教师自身上限（约66.4%）和学生相对保留率21-112%，其中OLMo的水印保留率甚至超过教师本身。低密度（约20%）的显式和隐式声明性变体在各自家族基线上表现出显著转移。此外，一个N=20的室内实验（预注册拉丁方设计）表明，所有标记变体与基线在利克特量表上的差异均在0.22步以内，统计检验支持假设。该研究提出交互层作为反蒸馏水印的可行设计空间，与token层、模型层和推理轨迹层防御互补。