False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift
本文研究的是 LLM 安全路由(safety routing)评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个,其效果通常以「与最佳单模型(best single model)对比」来评判。问题在于,主流路由基准是
共收录 6 条相关情报。
← 返回所有主题本文研究的是 LLM 安全路由(safety routing)评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个,其效果通常以「与最佳单模型(best single model)对比」来评判。问题在于,主流路由基准是
该论文研究基于函数调用图的 Android 恶意软件分类器在分布偏移(恶意软件类型或家族变化)下的泛化能力,核心问题是:函数调用图中的"中观"组织结构(即社区/模块化社区划分)是否能在局部度数分布(LDP)、全局统计量、轻量级元数据以及规模
该论文研究的是基于控制流图(CFG)的图神经网络(GNN)恶意软件检测器在时间分布偏移下的泛化能力与可解释性稳定性。作者指出,现有工作普遍在一个单一时间窗内采集的语料上做随机划分(random split)评估,训练集与测试集来自同一时期,
本文针对大型语言模型(LLM)部署中安全分类器(safety classifier)失效的两大痛点提出解决方案:一是分类器在训练时学到的策略与部署方(deployer)期望的策略不一致,导致决策偏差;二是随着部署流量分布演化,分类器性能会逐
本文提出 CipherSight,一种基于 TLS 记录层的高鲁棒性 HTTPS 网站指纹识别(WF)框架,旨在解决真实部署中因时间和地域变化导致的分布偏移(OOD)以及开放世界场景中不断出现的新网站问题。现有方法主要从原始 TCP 包序列
该论文提出了一种针对已部署安全分类器的在线分布漂移监测系统。系统利用校准的序贯统计量(如加权共形预测或逻辑密度比估计)实时检测分类器的输入分布是否发生变化。一旦检测到漂移,系统会通过共形弃权层自动调整决策阈值,以恢复预设的目标错误率(ε=0