本文针对部署在对抗性环境中的安全检测模型，提出了一种全范围二元分类器校准方法（Full-range Binary Classifier Calibration）。在恶意流量/样本分布快速漂移而良性分布相对稳定的场景下，安全团队需要频繁重训练模型以保持对新威胁的检出能力。然而，重训练会改变模型输出的预测分数，破坏下游依赖该分数的机制（如阈值、排序等）。传统的概率校准方法旨在使输出值逼近类概率，但安全场景更关心的是在不同部署版本间，同一输出分数对应的假阳性率（FPR）保持一致性。本文设计的方法基于现有校准原语（如 Platt scaling、等张回归等），通过在全FPR区间（从10%到0.01%）上优化，使得模型更新后输出分数具有稳定的FPR含义。在独立保留的测试集上，该方法在10%至0.1% FPR范围内观察到的相对FPR误差最大仅为2.3%，在0.01% FPR下误差为7.2%。此外，校准模型的产物（校准器）大小控制在200 KB以下，适用于1K至10M良性样本的校准集。该方法不依赖特定模型架构，可与现有安全ML流程集成。主要贡献是定义了面向安全场景的校准目标（FPR一致性），并提供了高效、轻量的实现。适合安全工程师、MLOps团队、以及研究模型部署稳定性的学者阅读。

大型语言模型（LLM）正在迅速改变软件开发，但其在安全关键场景中的应用引发了一个关键问题：模型是否知道其生成的代码何时不安全？这种属性被称为校准（calibration），衡量模型的置信度是否与其输出的真实正确性一致。本文首次对LLM生成代码的安全校准进行了大规模实证研究。研究人员评估了GPT-4o-mini、Gemini-2.0-Flash和Qwen3-Coder-Next在多种温度设置下的表现，使用了两个互补基准：自包含安全任务和多语言仓库级上下文。结果表明，过度自信在评估的LLM中普遍存在。功能校准始终比安全校准更差，这表明模型对安全结果的估计比功能正确性更可靠，可能因为功能正确性依赖于复杂的执行行为。研究还考察了校准引导的自动修复是否有助于修复LLM生成代码中的漏洞，发现改进有限，且经常引入功能退化。此外，研究了减少虚假信任（模型对漏洞代码赋予高置信度）的不同缓解策略。结果表明，尽管架构门控在受控基准上改善了校准，但在现实的仓库级设置中校准恶化，增加了高置信度脆弱输出的风险。该研究为开发更可靠的代码生成LLM提供了重要见解，适合安全研究人员、LLM开发者和软件工程师关注。

本文提出了一种新的深度伪造检测评估框架——校准深度伪造信任分数（CDTS）。传统上，深度伪造检测器的输出概率被直接视为信任度，但作者指出其校准性（即预测概率与实际正确率的匹配程度）与检测器的判别能力之间存在强耦合。通过在32种配置上的实验（合并Pearson r = -0.81），作者发现当检测器的判别能力下降时，信任分数的校准性也会显著退化。该现象在三种架构不同的检测器（两种卷积网络和一种CLIP视觉Transformer）上均得到验证，并且可通过直接诱导低能力来复现。此外，作者证明了CDTS的可部署性：一个在域内数据上冻结的校准器会在低能力生成器上失效，而无需标签的能力估计可以监测未见生成器上的校准风险。基于无参考能力估计的路由策略能降低整体AURC并改善中低覆盖区间的性能。研究还发现，能力因素同样驱动了人口统计子组间的校准不公平性（与准确性不公平性不同）以及解释忠实度。因此，作者主张检测器的可信度由能力作为共同驱动因素组织，信任评分必须具有能力感知性，并提供了CDTS作为实现机制。

本文研究提示注入检测器在攻击分布迁移场景下的置信度校准问题。当前检测器通常将模型对输入的打分与固定阈值比较，决定是否拦截。然而，实际攻击分布（如间接注入、越狱变体）可能偏离模型训练或调优时使用的干净基准分布，导致检测器在未知攻击上表现不稳定。作者以三种公开检测器（ProtectAI-v2 和两种 Prompt-Guard-2 检查点）为研究对象，在单一源校准阈值下，将其迁移至五种攻击分布偏移场景，并引入严重性度量 S（表示检测器对漏报攻击的置信度水平）。实验发现：在所有偏移和所有检测器上，漏报攻击的 S 值始终介于 0.99 到 1.00 之间，而假阴性率从 0.01 到 0.97 不等——即检测器一旦漏报，几乎以绝对自信忽略攻击。特别地，三种检测器一致对间接行为劫持注入（促使模型执行恶意操作的类型）表现出盲点。标准池化校准误差无法捕捉该现象：一个被认为校准良好（0.06）的检测器，在仅考虑攻击时校准误差高达 0.91。在实际模型测试中，漏报的注入会泄露大部分可工作漏洞，拦截率与其他攻击相同。作者通过受控实验追溯原因，发现是检测器过度依赖内容关键词而非注入结构，且指令微调模型作为裁判时表现出相同盲点。黑盒重写器利用内容键控机制可制造高置信度的漏报，尤其对最危险的攻击类别效果显著。代码和数据已公开。本文为 LLM 安全评估提供了新视角，强调校准质量不能仅靠平均误差衡量，必须针对攻击子集单独评估。