SSP-Bench: A Hybrid Data Generation Framework for Safety, Security, and Privacy Evaluation
该论文针对大语言模型(LLM)在安全(safety)、安保(security)与隐私(privacy,合称 SSP)评估中长期依赖静态基准的问题提出改进方案。作者指出,静态基准存在三类结构性缺陷:分数饱和(模型表现趋同、区分度丧失)、数据污
共收录 2 条相关情报。
← 返回所有主题该论文针对大语言模型(LLM)在安全(safety)、安保(security)与隐私(privacy,合称 SSP)评估中长期依赖静态基准的问题提出改进方案。作者指出,静态基准存在三类结构性缺陷:分数饱和(模型表现趋同、区分度丧失)、数据污
该论文针对当前大模型安全对齐流水线的一个结构性缺陷:训练与评估只评判模型的最终答案,因此无法区分「真正稳健的拒答」与两类不良捷径——(1) 对良性请求的一律拒答(过度拒答),(2) 理由写得漂亮、看似安全但并未真正约束答案的「不忠实安全解释