#latency-slo

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Hao Chen

该论文研究的是"预摄取(pre-ingestion)阶段"的实时安全护栏问题:在目标大模型开始 prefill 之前就要完成提示词筛查,并同时满足三个约束——概率输出必须经过校准、必须把合规类"两用"查询的误报压到极低、以及要在明确的延迟 SLO 下完成异构 CPU-NPU 路由。作者指出既有方案各有短板:浅层分类器对措辞改写非常脆弱;基于隐状态探针的方法必须与目标 LLM 耦合、无法独立部署;生成式护栏则需要解码、延迟高且对双用途问题误报严重。为此提出 COGNIT-Guard:一个由"验证集校准的 CPU 快速门控器"与"NPU 上驻留的 322M 双向直接决策模型(Laya-322M)"组成的置信度级联架构,CPU 侧先做低成本判定,只有在置信度不足时才按阈值升级到 NPU 侧模型,并且整体以非对称误报惩罚进行优化,即更严厉地惩罚对良性查询的误判。 实验结果分三部分。其一,在干净的未见测试集 DUCS-Bench(N=607)上,COGNIT-Guard 达到 98.85% 准确率(与机器学习基线相比 McNemar p=1.19e-4),把良性样本误报率降到 0.42%(即 238 个良性样本中仅 1 个误报,Fisher 精确检验 p=8.23e-4),校准质量方面 ECE 为 1.12%、Brier 分数 0.0104。其二,在华为昇腾 910C NPU 上的工程测量显示,纯 NPU 推理平均延迟 21.77 ms(45.90 QPS),而实际串行的 CPU-NPU 级联(部署阈值 θ*_deploy=0.70)平均延迟 41.63 ms、P50 为 39.47 ms,同时保持 99.23% 准确率与 0.00% 误报率,说明级联并未牺牲判定质量。其三,在 SafetyBench-ZH(N=2,100)上的评估以及与双编码器直接决策基线 CLM-8B 的对比,清晰拆解了三种效应:域内收益、OOD 对齐税(Laya 从 60.33% 降至 56.81%,域内 CLM-8B 为 55.10%),以及经验回放带来的恢复效果——回放后 OOD 准确率回升至 64.10%-65.05%,域内准确率达到 99.67%-99.84%,误报率维持在 0.00%-0.42%。论文整体贡献在于:把"何时该生成 token、何时该直接输出决策"这一问题形式化,并给出一个可独立部署、校准良好、延迟可控、误报受控的护栏工程范式。

💡 推荐理由: 预摄取护栏是 LLM 应用上线的前置防线,直接决定可用性与安全性的平衡。本文提供了校准(ECE/Brier)、误报率、延迟 SLO 三者的可量化权衡与异构 CPU-NPU 级联部署实测数据,对自建安全网关的团队有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)