#split-inference

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Stefano Leggio, Giulio Rossolini, Alessandro Biondi

本文针对视觉 Transformer (ViT) 在分割推理(split inference)场景中的隐私泄露问题展开研究。在分割推理中,边缘设备将中间 token 表示发送给远程云端进行处理;这一过程中,通常采用 token 减少(token reduction)来降低计算与通信开销,以及 token 乱序(token shuffling)来破坏 token 的空间组织,从而可能减少信息泄露。然而,这些机制在特征反转攻击(feature inversion attack)下的实际隐私保护效果尚不清楚。作者发现,尽管乱序扰乱了传统重建攻击所需的空间结构,但所传输的 token embedding 中仍保留了丰富的位置信息。基于这一观察,作者提出了一种名为 SARA(Spatially Aligned Reconstruction Attack)的统一攻击流程,它通过预测原始 token 的位置并恢复其空间布局,再利用特征空间掩码自编码器重建被删除的 embedding,最终重构出原始输入图像。实验结果表明,token 乱序仅提供表面上的隐私,因为 SARA 能高保真地恢复 token 排列;token 减少提供了相对更强的保护,但保留的 token 若携带充分的语义和位置信息,仍然存在显著的泄露风险。为缓解此类风险,作者进一步提出了一种轻量级的边缘侧防御方案:在边缘端移除 positional embeddings,并通过知识蒸馏让边缘侧的 transformer 块逐步适应这种变化。该防御显著降低 SARA 的攻击性能,同时保持下游任务精度,且无需修改云端模型。论文揭示了分割推理中位置信息泄露的隐患,并提供了具有实用价值的防御方向。

💡 推荐理由: 该研究证明 token 乱序几乎不能保护 ViT 分割推理的输入隐私,边缘节点必须重新评估其已有的防御假设。所提出的轻量级防御可直接为实际推理系统提供可落地的加固方案,提醒模型部署方在传输中间特征时注意位置编码泄露。

🎯 建议动作: 研究跟进并纳入内部评估:针对使用 ViT 做分割推理的系统,进行隐私泄露测试,并考虑采用论文提出的防御方案进行加固。

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)