该论文聚焦 AI 服务中广泛部署的"黑盒安全护栏"(guardrail)的审计难题。现实中,出于隐私与合规要求,审计方往往处于两种受限状态:一是"人类不可见"(human eyes-off),即禁止人工查看用户输入内容;二是"机器不可见"(machine eyes-off),即连模型也不得直接检查原始输入。在这两种情形下,传统依赖人工标注或护栏内部信息的评估方法都无法使用,导致护栏在真实生产环境中的正确性无从度量。 作者提出 CorrectGuard——一个面向上述两种受限场景的"不可见正确性估计"框架。其核心思想是训练一个独立的、基于模型的外部评估器:仅使用可见(eyes-on)的标注数据,在不接触护栏内部结构、权重或日志的前提下,预测护栏对不可见输入的判定是否正确。对 machine eyes-off 场景,作者采用隐私保护式的输入指纹化(fingerprinting)替代原始文本,使评估器无法还原用户输入。 实验方面,作者在 13 个安全数据集上开展留一数据集交叉验证(leave-one-dataset-out),覆盖有害内容、越狱、提示注入与数据抽取等任务,并将多个开放权重护栏统一当作黑盒处理。方法上比较了三类正确性模型:上下文学习(in-context learning)、嵌入向量方法以及微调方法。结果显示:基于上下文学习的正确性分类器在两种受限场景下均显著提升错误识别能力,macro accuracy 最多提升 25 个百分点;微调方法带来接近 15 个百分点的提升,但不同护栏与留出数据集之间性能波动明显,说明该方法并非普适稳定。 此外,正确性分数还可用于护栏决策排序与弃权(abstention):在 3 个护栏上,最优排序将 AURC 从未排序基线的 0.33–0.44 降至 0.17–0.22;在 15% 可接受风险水平下,最佳工作点仍能保留 37.5%–52.0% 的护栏决策。结论表明,外部正确性模型无需特权访问即可暴露护栏的系统性失效,并支持决策弃权机制,为隐私受限环境下的护栏质量保障提供了可行路径。适合 AI 安全评估、模型审计、合规与护栏工程方向的读者。