#llm-guardrail

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Hao Chen

该论文研究的是"预摄取(pre-ingestion)阶段"的实时安全护栏问题:在目标大模型开始 prefill 之前就要完成提示词筛查,并同时满足三个约束——概率输出必须经过校准、必须把合规类"两用"查询的误报压到极低、以及要在明确的延迟 SLO 下完成异构 CPU-NPU 路由。作者指出既有方案各有短板:浅层分类器对措辞改写非常脆弱;基于隐状态探针的方法必须与目标 LLM 耦合、无法独立部署;生成式护栏则需要解码、延迟高且对双用途问题误报严重。为此提出 COGNIT-Guard:一个由"验证集校准的 CPU 快速门控器"与"NPU 上驻留的 322M 双向直接决策模型(Laya-322M)"组成的置信度级联架构,CPU 侧先做低成本判定,只有在置信度不足时才按阈值升级到 NPU 侧模型,并且整体以非对称误报惩罚进行优化,即更严厉地惩罚对良性查询的误判。 实验结果分三部分。其一,在干净的未见测试集 DUCS-Bench(N=607)上,COGNIT-Guard 达到 98.85% 准确率(与机器学习基线相比 McNemar p=1.19e-4),把良性样本误报率降到 0.42%(即 238 个良性样本中仅 1 个误报,Fisher 精确检验 p=8.23e-4),校准质量方面 ECE 为 1.12%、Brier 分数 0.0104。其二,在华为昇腾 910C NPU 上的工程测量显示,纯 NPU 推理平均延迟 21.77 ms(45.90 QPS),而实际串行的 CPU-NPU 级联(部署阈值 θ*_deploy=0.70)平均延迟 41.63 ms、P50 为 39.47 ms,同时保持 99.23% 准确率与 0.00% 误报率,说明级联并未牺牲判定质量。其三,在 SafetyBench-ZH(N=2,100)上的评估以及与双编码器直接决策基线 CLM-8B 的对比,清晰拆解了三种效应:域内收益、OOD 对齐税(Laya 从 60.33% 降至 56.81%,域内 CLM-8B 为 55.10%),以及经验回放带来的恢复效果——回放后 OOD 准确率回升至 64.10%-65.05%,域内准确率达到 99.67%-99.84%,误报率维持在 0.00%-0.42%。论文整体贡献在于:把"何时该生成 token、何时该直接输出决策"这一问题形式化,并给出一个可独立部署、校准良好、延迟可控、误报受控的护栏工程范式。

💡 推荐理由: 预摄取护栏是 LLM 应用上线的前置防线,直接决定可用性与安全性的平衡。本文提供了校准(ECE/Brier)、误报率、延迟 SLO 三者的可量化权衡与异构 CPU-NPU 级联部署实测数据,对自建安全网关的团队有直接参考价值。

🎯 建议动作: 研究跟进

排序因子: 有可用补丁/修复方案 (+3) | 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Junchi Chen, Changtao Miao, Yuxiao Xiang, Zhenchao Jin, Haojie Yuan, Qi Chu, Tao Gong, He Liu, Bo Zhang, Jiansheng Cai, Zhe Li, Nenghai Yu

具身智能体(embodied agent)在执行任务前通常会由任务规划器生成多步计划,而子任务之间的依赖关系以及与物理环境的交互,可能在执行过程中叠加出单步看起来无害、整体却具备物理危险性的组合风险。论文指出,现有防护手段存在明显盲区:通用的安全护栏(guardrail)主要围绕语义层面的有害内容判别,而具身安全检测器往往只对单个子任务做孤立评估,二者都无法刻画“整条计划在当前环境下是否物理安全”这一问题。为此,作者提出 PlanGuard,被其称为首个在执行前对完整多步计划进行物理安全评估的检测器,即把整条计划与当前环境状态联合作为输入,输出计划层面的安全判定。为支撑训练与评测,作者构建了 Multi-Step Plan Safety(MSP-Safe)数据集,流程包括配对任务构造(paired task construction)、使用多种不同规划器生成计划、并由三名评判者(three judges)进行安全标注,从而覆盖多样化的规划风格与安全/不安全对照样本。训练方面,作者先采用面向任务的监督微调(task-oriented SFT)在 MSP-Safe 上建立基础的计划安全评估能力,但发现可直接实时部署的小模型与能力更强、成本更高的大模型之间仍存在显著差距。为此提出 STAC-OPD(Strong-Teacher Adaptive Compensation for On-Policy Distillation),在学生模型自身的 on-policy 轨迹上提供自适应的强教师监督:一方面做来自微调后强教师的 token 级分布迁移,另一方面做概率路由的序列级补偿——当学生模型给出的目标与参考安全决策一致时保留学生自生成目标,否则使用教师重构的目标。实验上,PlanGuard-2B 在所有测试子集上取得平均 87.15% 准确率与 87.21% F1,说明在紧凑模型规模下也能有效完成整条计划的物理风险检测。作者表示代码与数据集将公开。

💡 推荐理由: 具身智能体正从实验室走向真实物理场景,整条多步计划的组合风险此前缺乏执行前检测手段。该工作给出了数据集、评测协议与可实时部署的 2B 小模型方案,为机器人/具身系统的执行前安全门禁提供了可复用基线。

🎯 建议动作: 研究跟进:等待代码与 MSP-Safe 数据集公开后纳入内部评估,判断是否可作为具身/多步规划智能体的执行前安全门禁组件。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)