#residual-stream

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Mingyuan Li, Yanna Jiang, Guangsheng Yu, Qin Wang, Xu Wang, Wei Ni, Ren Ping Liu

该论文揭示了一种针对大语言模型(LLM)部署环境的新型隐蔽信道:在受限或气隙(air-gapped)网络中,运行时组件可被攻陷并滥用。由于隐私敏感机构常需将模型中间激活(如残差流)作为诊断产物导出到外部,攻击者可在推理过程中通过被篡改的运行时钩子(runtime hook),将敏感消息编码为码字并注入中间残差流。离线观察者仅用一个简单的线性解码器即可恢复信息。该攻击的关键特性是:无需重新训练模型、无需修改权重、无需攻击者控制的外发通道、也无需控制记录或传输进程,因此绕过传统网络出口监控。为维持可恢复性,注入强度依据局部残差范数进行缩放,采用“信号-残差范数比”来控制信噪比。作者在来自 7 个架构家族的 11 个模型上评测,其中 9 个模型的信息恢复率达 91%–100%,同时 KL 散度仅为 0.001–0.007(激活分布近乎不变);所评估的激活级检测器 AUC 最高仅 0.56,接近随机猜测;测试的事后防御也无法可靠消除该信道。结论是:一个符合 schema 的激活工件可以在表面上完全合法,却携带不允许跨越信任边界的信息。

💡 推荐理由: 对导出 LLM 激活或诊断产物的气隙与受限环境构成直接威胁;传统网络出口与运行时监控难以发现,现有激活级检测器近乎失效,安全性最终取决于对中间激活导出的治理能力。

🎯 建议动作: 研究跟进;将中间激活导出纳入数据防泄露评估,开展内部红队验证

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)