原则性监管（如“公平、清晰、不误导”或“提供良好结果”）属于评判性标准，无法简化为二元谓词。随着大型语言模型（LLM）被越来越多地用作裁判，其实际评估质量变得至关重要。本文提出，任何此类裁判都必须从四个维度进行评测：准确性（accuracy）、释义鲁棒性（paraphrase robustness）、对抗鲁棒性（adversarial robustness）和校准性（calibration）。作者发布了 Principle-Bench，一个包含 168 个加密资产金融推广场景的数据集，这些场景映射到英国金融行为监管局（FCA）的两条原则，并预注册了释义改写、关键词填充和边界扰动等攻击样本。这是首个覆盖原则性监管全部四个评估轴的数据集。同时提出 Ceca（Calibrated Exemplar-Cluster Assessment），一个校准且可审计的评估器，可输出每个示例的反事实归因。实验比较了关键词计数、三种句子转换器嵌入、一个开放式权重 LLM 裁判和一个校准级联，结果显示没有任何方法在所有四个轴上占优。最强的 120B LLM 裁判在良性输入上表现最好，但在面对关键词填充的 Consumer Duty 输入时，准确率从 0.74 骤降至 0.27，被作者称为“合规剧场”。另一个模型家族的裁判在相同分割上 Cohen's kappa 仅为 0.16，说明失败源于模型而非语料库。最终结论是：任何部署级用于原则性监管的 LLM 裁判，除了总体准确率外，还必须报告每个原则的对抗欺骗性和事后校准指标。

本文（arXiv 论文）针对机器学习在医疗健康领域应用中的可信度（Trustworthiness）与公平性（Fairness）问题进行了系统性分析。在医疗场景下，模型必须同时满足精准性、可解释性、鲁棒性和无偏见等要求，但现有研究往往只关注单一指标。论文可能提出了一套多维度的评估框架，用于量化模型在不同人群亚组上的表现差异，并探讨了数据偏差、算法偏差和评估偏差等来源。此外，文章还讨论了可解释性与透明度对医生和患者信任建立的重要性。通过实证案例或理论论证，论文揭示了当前医疗 AI 在公平性保障上的不足，并提出了改进建议，例如采用公平性约束训练、后处理校准等。该研究对医疗 AI 系统开发者、监管者和临床决策者具有参考价值。由于仅提供论文标题，以上内容为基于题目的合理推断，具体细节请参阅原文。