Evaluating Machine Learning-Based IoT Device Identification Models for Security Applications.
本文针对基于机器学习的物联网设备识别模型在实际部署中性能下降的问题展开系统性评估。作者指出，现有方案大多假设物联网环境是静态的，未能考虑真实网络中设备工作模式多样、随时间演化以及网络流量时空变化等因素，导致模型在现实中准确率显著降低。为了量
#evaluation
共收录 33 条相关情报。
← 返回所有主题ATOBench: Tracing How Autonomous Penetration-Testing Agents Verify Vulnerabilities When Target Evidence Lies
本文提出 ATOBench，一个面向自主渗透测试代理的评估框架，核心目标是让代理在面对欺骗性目标响应时的验证过程变得可观测。研究背景是：自主渗透测试代理依赖目标系统的响应来指导后续动作和生成最终报告，如果目标响应被欺骗（例如植入错误证据），
AI Guardrail Survival under Single-Cycle Agentic Self-Summarization
本文研究了长期运行的智能体（agent）在上下文压缩（context compaction）过程中，安全护栏（safety guardrail）如何因单一周期的自我摘要（self-summarization）而失效。长期智能体通常需要周期性
Whose Refusal Is It? The Unmeasured Contribution of Black-Box Multimodal Guardrails
该论文揭示了一个被忽视的评估方法论缺陷：黑盒多模态护栏（guardrail）的安全指标往往被错误地归因于护栏本身，而实际上目标模型自身的对齐机制也参与了拒绝行为。研究者指出，防御管线中两个组件都能产生拒绝（护栏和模型自身对齐），但当前评估将
Beyond Text Matching: Towards Reference-Free Evaluation for Human-Oriented Binary Reverse Engineering
本文针对人类导向的二进制逆向工程（HOBRE）评估难题展开系统性研究。HOBRE 旨在将反编译伪代码转换为更易读、更符合人类认知的表示形式，以降低逆向分析人员的认知负担。然而，如何可靠地评估 HOBRE 输出一直是核心挑战：人工评估成本高昂
How Benchmarks and Evaluation Protocols Shape Conclusions in Provenance-Based Intrusion Detection
该论文系统研究了基准测试与评估协议如何影响基于溯源（provenance）的入侵检测系统（PIDS）的性能结论。作者指出，许多 PIDS 在论文中宣称高检测性能，但这些结论往往对所选数据集和评估方式极为敏感。为了揭示这一依赖关系，他们在满足
Poster: Randomness Unmasked: Towards Reproducible and Fair Evaluation of Shift-Aware Deep Learning NIDS.
该论文针对深度学习网络入侵检测系统（NIDS）评估中的可重复性和公平性问题展开研究。现有评估通常假设数据分布静态，忽略随机性和环境变化的影响，导致报告性能无法反映真实部署情况。作者聚焦于能够感知并适应数据分布偏移的先进模型（shift-aw
SoK: Prudent Evaluation Practices for Fuzzing.
过去十年中，模糊测试已被证明是一种高效的软件漏洞发现方法。自AFL引入轻量级覆盖率反馈这一开创性概念以来，模糊测试领域涌现了大量科学工作，提出了新技术、改进了现有策略的方法论方面，或将现有方法移植到新领域。所有这些工作都需要通过展示其解决问
Evaluating Endpoint Detection Robustness Against Genetic Algorithm Driven Code Transformations
该研究针对现代端点检测系统（AV/EDR）在应对自适应变体时的鲁棒性进行系统评估。当前，AV/EDR结合签名与行为检测，但传统检测管道在变体生成下的可靠性尚未充分验证。作者提出ShellForge，一种基于遗传算法（GA）的框架，用于生成后
Operational Reframing and Approval-Framed Delegation in Multi-Agent LLM Safety
该论文针对多智能体LLM系统安全评估中存在的混淆问题，提出了一种五条件对照实验设计，以解构聚合管道效应背后的三种机制：有害意图被重构为合理操作、规划器拒绝或转换请求、以及执行者在暗示已获批准的委托提示下行动。研究基于30个合成有害场景和四个
How Reliable Is Your Jailbreak Judge? Calibration and Adversarial Robustness of Automated ASR Scoring
该论文系统性地评估了用于衡量大语言模型（LLM）越狱攻击成功率的自动化裁判（ASR评分器）的可靠性。研究背景是：几乎所有关于LLM越狱和提示注入的论文都报告攻击成功率（ASR），但这些ASR通常由自动化裁判（专用安全分类器或通用聊天模型）打
Search-Time Contamination in Deep Research Agents: Measuring Performance Inflation in Public Benchmark Evaluation
本文系统研究了深度研究Agent在公共基准评测中因推理时进行网络搜索而引发的“搜索时污染”（Search-Time Contamination, STC）问题。STC是指Agent在回答问题时，通过Web搜索检索到基准测试的元数据、问题上下
MGTEVAL: An Interactive Platform for Systemtic Evaluation of Machine-Generated Text Detectors
本文介绍了一个名为 MGTEVAL 的可扩展平台，用于系统评估机器生成文本（MGT）检测器。尽管 MGT 检测领域取得了快速进展，但现有的评估工作往往因数据集、预处理方法、攻击方式和评估指标的碎片化，导致结果难以比较和复现。MGTEVAL