RAGScope: A Leakage-Controlled, Cost-Aware Evidence-Gating Protocol for RAG Hallucination Triage
本文研究的是检索增强生成(RAG)系统中的「幻觉分流」问题:如何在成本受限的前提下,对模型生成的答案进行廉价分类路由——低风险答案直接采纳、不确定的送人工复核、只有极少数高成本样本才交给强验证器(如大型 NLI 模型)处理。作者指出,现有评
共收录 8 条相关情报。
← 返回所有主题本文研究的是检索增强生成(RAG)系统中的「幻觉分流」问题:如何在成本受限的前提下,对模型生成的答案进行廉价分类路由——低风险答案直接采纳、不确定的送人工复核、只有极少数高成本样本才交给强验证器(如大型 NLI 模型)处理。作者指出,现有评
该论文研究的是"预摄取(pre-ingestion)阶段"的实时安全护栏问题:在目标大模型开始 prefill 之前就要完成提示词筛查,并同时满足三个约束——概率输出必须经过校准、必须把合规类"两用"查询的误报压到极低、以及要在明确的延迟
该论文关注自主渗透测试编排框架(autonomous penetration-testing harness)中的决策可靠性问题。当前这类框架普遍使用大语言模型(LLM)完成侦察、利用与报告生成,但同时也让同一个 LLM 去确认漏洞发现是否
该论文聚焦 LLM 系统在“答案发布”(publication)环节的完整性与授权绑定问题:已获批准的内容必须与其当前的授权上下文严格绑定,否则会出现三类可区分的失效——语义层面的错误批准(把无依据的答案判为可用)、授权陈旧(审批时有效但发
本文针对部署在对抗性环境中的安全检测模型,提出了一种全范围二元分类器校准方法(Full-range Binary Classifier Calibration)。在恶意流量/样本分布快速漂移而良性分布相对稳定的场景下,安全团队需要频繁重训练
大型语言模型(LLM)正在迅速改变软件开发,但其在安全关键场景中的应用引发了一个关键问题:模型是否知道其生成的代码何时不安全?这种属性被称为校准(calibration),衡量模型的置信度是否与其输出的真实正确性一致。本文首次对LLM生成代
本文提出了一种新的深度伪造检测评估框架——校准深度伪造信任分数(CDTS)。传统上,深度伪造检测器的输出概率被直接视为信任度,但作者指出其校准性(即预测概率与实际正确率的匹配程度)与检测器的判别能力之间存在强耦合。通过在32种配置上的实验(
本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较,决定是否拦截。然而,实际攻击分布(如间接注入、越狱变体)可能偏离模型训练或调优时使用的干净基准分布,导致检测器在未知攻击上表现不稳定