When Normalization Selects the Sign: Auditing Robustness Ablations in Quantum Attention
该论文研究机器学习安全评测中一个被普遍忽视的方法论缺陷：消融实验里移除某个输入缩放模块（input-scaling module）时，同时改变了分类器本身与真正到达编码器的扰动幅度，因此观察到的鲁棒性差异可能来自比较规则，而不一定来自被移除
#evaluation-methodology
共收录 15 条相关情报。
← 返回所有主题A Safe Prototype Is Not a Safety Direction: Reference Dependence and Prompt Confounds in Response-Safety Embeddings
该论文对近期某休眠代理检测器提出的“响应安全分数=与已知安全响应均值嵌入的余弦相似度”进行审计。作者指出，正类质心只给出安全类相对于编码器原点的位置，并不能确定区分安全与不安全响应的方向。研究在两个经提示词控制、人工标注的语料及一个辅助陪审
False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift
本文研究的是 LLM 安全路由（safety routing）评测中的方法论缺陷。安全路由器的做法是把每个请求分派给多个候选模型中的一个，其效果通常以「与最佳单模型（best single model）对比」来评判。问题在于，主流路由基准是
Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection
这篇论文针对基于溯源图(provenance)的入侵检测系统(PIDS)的评测方法学开展审计。作者指出，仅复现某个检测器给出的分数，并不能说明该分数对其实际输出的告警意味着什么，也不能说明其编码器真正利用了哪些信息。为此，作者收集并审计了九
The Fly That Stopped: Mushroom-Body-Inspired Habituation as a Reward-Free Scheduling Prior for Autonomous Penetration Testing
本文研究自主渗透测试（autonomous penetration testing）智能体在固定动作预算下反复选择相同工具、从而大量浪费预算的问题。作者提出一个无需奖励信号（reward-free）的调度器，其灵感来自果蝇蘑菇体（mushr
Unmasking Shortcut Learning in IoT Intrusion Detection: A Forensic, Multi-Paradigm Evaluation of Feature Dependence and Data Leakage
该论文针对物联网入侵检测系统（NIDS）评测中的「捷径学习」（shortcut learning）问题，开展了一次取证式、多范式的系统性评估。研究背景是：基于机器学习的 NIDS 在 IoT 公开基准上普遍报告近乎完美的检测性能，但作者质疑
Multi-View Fusion for Encrypted C2 Detection: A Leakage-Controlled Measurement Study of Evaluation Pitfalls
该论文针对加密C2流量检测中常见的多视图融合假设展开实证研究。作者指出，随着C2流量越来越多地隐藏于TLS，防御方常用流统计特征与TLS握手指纹两类元数据训练机器学习模型，并普遍认为二者融合可同时提升准确率与鲁棒性。为验证该假设，研究者使用
ACTS: A multi-tier benchmark evaluating LLM cipher identification under controlled blind conditions
ACTS(Artifacts in Cipher Testing Suite)是一个可复现的多层基准套件, 用于在受控盲测条件下评估大语言模型对密码算法/密文类型的识别能力。其研究动机是回答一个关键问题: LLM 在密码分析类任务上的高分,
Partition-Matched Evaluation of Community Features under Distribution Shift in Android Malware Function-Call Graphs
该论文研究基于函数调用图的 Android 恶意软件分类器在分布偏移（恶意软件类型或家族变化）下的泛化能力，核心问题是：函数调用图中的"中观"组织结构（即社区/模块化社区划分）是否能在局部度数分布（LDP）、全局统计量、轻量级元数据以及规模
Attack Success Rate Is Not a Number: On Measurement Validity in Agentic AI Security Evaluation
该论文聚焦 LLM 智能体(agent)安全评测中最常被当作头条指标的“攻击成功率”(ASR),指出 ASR 并非单一数值,而是由六个设计选择共同参数化的一族指标;这些选择在论文中往往不被说明,更从未在整个文献中被统一固定。作者用两项无需专
The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent
该论文研究一个常被忽视的工程问题：在由 LLM 编排的进攻性安全 agent 中，最终上报的漏洞发现是否需要经过一个“校验—验收”阶段，以及这个阶段究竟改变了什么。作者 Theodoros Moutesidis 采用预注册的实证方法，分三步
Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks
该论文聚焦大语言模型微调阶段的后门数据投毒评估方法学。传统后门研究通常固定投毒样本数量，再从候选数据池中随机抽取投毒集合，并据此估计模型的最坏情况脆弱性。作者指出这种做法会严重低估真实风险：在三个基于 LLaMA-3-8B 的后门实验设置中
What the Detector Can See: Evaluating CPS Anomaly Detectors Independently of the Decision Rule
本文针对网络物理系统（CPS）异常检测器的评估方法提出批评与改进。当前领域普遍使用精确率、召回率或 F1 分数在单一工作点（operating point）上比较不同架构的检测器，例如深度神经网络、不变式模板等。作者指出，这些指标混淆了两个
Do Transformers Actually Help Intrusion Detection? A Temporal Sequence Evaluation on CIC-IDS2017
该论文针对近年来网络入侵检测研究中越来越多地采用循环网络和Transformer等时序架构的趋势，提出质疑：这些模型是否真的利用了时序信息？作者以CIC-IDS2017数据集为基准，将其重构为时序入侵检测任务，通过构建有序流序列，在随机划分
Gate AI: LLM Security Benchmark Evaluation Methodology and Results
这篇论文提出了一种针对大型语言模型（LLM）的提示注入（prompt-injection）和越狱（jailbreak）检测器的基准评估方法学，旨在解决现有评估中两个系统性弱点：每个数据集单独调整阈值以及未公开的操作点。作者设计了一个评估框架