Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection
这篇论文针对基于溯源图(provenance)的入侵检测系统(PIDS)的评测方法学开展审计。作者指出，仅复现某个检测器给出的分数，并不能说明该分数对其实际输出的告警意味着什么，也不能说明其编码器真正利用了哪些信息。为此，作者收集并审计了九
#reproducibility
共收录 16 条相关情报。
← 返回所有主题Trust, but Validate the Instrument: Auditing AI-Generated RTL Verification Plans on Authored Security-Regression Proxies
该论文研究 AI 生成 RTL 验证计划在硬件安全场景下的可信度问题。作者指出:大模型生成的验证计划即使通过了服务商(provider)的响应 schema 校验,也可能在进入可信执行环节时失败,即「schema 合规」不等于「执行有效」。
Ranked by the Matcher: A Reproducibility Audit of Knowledge Graph Extraction from Threat Reports
该论文针对威胁报告知识图谱提取工具评估的可复现性问题进行系统审计。研究者注意到工具发布时引用的三元组F1分数高度依赖于预测三元组与黄金标注之间的匹配规则，而匹配算法（精确匹配、同义词、嵌入相似度等）的选择会显著影响最终得分。作者检查了12个
GraftyVul: Synthesising Insecure Programs Through Real-World Vulnerability Grafting
本文提出了 GraftyVul，一个通过将真实世界漏洞“嫁接”到开源项目中来自动构造含漏洞程序的数据集生成系统。现有漏洞数据集通常难以同时满足多样性（语言和漏洞类型）、可复现性与可执行性以及真实性这三项要求：部分数据集使用人工构造或合成代码
A Reproducibility Protocol for Cross-Implementation Evaluation of Post-Quantum ACVP Test Vectors
本文提出并实施了一套面向后量子密码学（PQC）标准 ML-KEM 的跨实现可复现性验证协议，旨在解决加密标准独立实现之间已知答案测试（KAT）一致性验证中因语料、版本、公共接口、排除规则和证据记录不一致而导致的验证结论不可靠问题。作者设计了
From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
该论文针对 LLM/agent 驱动的漏洞验证工件（如 PoC 仓库、验证管道）的可复现性与可靠性进行了一项预注册的独立审计研究。研究背景是：随着大语言模型与自动化代理被用于漏洞挖掘和验证，安全社区产生了大量自动化生成的安全工件，但工件'可
From "Available" to "Reusable": Measuring Transparency and Reproducibility of Industrial Control System Datasets Under Security Artifact Evaluation Policies.
本文献（arXiv 论文，作者 Mohammad E. Alim 与 Tommy Morris）从标题看，聚焦于工业控制系统（ICS）安全数据集在“安全工件评估”政策下的透明性与可复现性问题。核心研究问题是从“可用（Available）”到
Do All LLMs Know When They're Being Harmful? A Reproducibility Study of Latent-Space Safety Probes Across Model Families
本文是对Khatri等人(2026)提出的潜在空间安全探针方法的可复现性研究。原始方法表明，在单一大语言模型(LLaMA-3.1-8B)的最终层激活上训练轻量级MLP探针，能够以与比其大1000倍的防护模型相竞争的F1分数检测有害提示，且每
Poster: Randomness Unmasked: Towards Reproducible and Fair Evaluation of Shift-Aware Deep Learning NIDS.
该论文针对深度学习网络入侵检测系统（NIDS）评估中的可重复性和公平性问题展开研究。现有评估通常假设数据分布静态，忽略随机性和环境变化的影响，导致报告性能无法反映真实部署情况。作者聚焦于能够感知并适应数据分布偏移的先进模型（shift-aw
Fizzle: A Framework for Deterministic and Reproducible Network Fuzzing.
本文提出了 Fizzle，一个用于网络协议模糊测试的确定性且可复现的框架。网络模糊测试在发现协议实现中的漏洞方面具有重要作用，但传统模糊测试工具由于随机化和非确定性执行，导致测试结果难以复现。Fizzle 通过引入确定性调度和状态记录机制，
Fair Enough? Assessing Open Science Practices on a Top-Tier Security Privacy Conference.
该论文评估了顶级安全与隐私会议（CCS）2020至2022年间论文的开放科学实践情况，重点关注可重复性。研究系统地分析了这些论文中代码、数据集、工件等的公开可用性，发现虽然部分论文提供了工件，但整体开放科学实践水平较低，尤其缺乏完整的可重复
Building Reproducible Video Streaming Traffic Generators.
本论文聚焦于解决网络仿真测试平台中缺乏可重现视频流流量生成工具的问题。视频流流量占互联网流量主导地位，但现有工具难以在受控环境中生成具有代表性且可重现的流量，这限制了流量分类、服务质量（QoS）算法及流量工程系统的评估。作者提出了一个工具集
On Defining Reproducible Outcomes for the Computer Security Community.
本文探讨计算机安全社区中研究成果可重复性的定义与提升方法。可重复性是科学进步的关键，尤其在计算机安全领域，代码和数据的天然可计算性本应使独立复现结果相对简单。然而，尽管安全社区近年来日益重视可重复性，当前方法是否有效仍存疑问。本论文从三个层
PixJail: Self-Evolving Paper-to-Pipeline Reproduction for Text-to-Image Jailbreak Evaluation
本文针对文本到图像（T2I）生成模型越狱评估中存在的复现性和可比性问题，提出了一种自演进论文到管线智能体框架PixJail。当前T2I越狱技术发展迅速，但现有基准和复现工作流难以同步更新；更重要的是，T2I越狱评估并非单次提示级测试，而是一
TopVenues: A Reproducible Corpus and Tooling Substrate for Cybersecurity Literature Reviews
网络安全文献综述需要可复现的论文集合作为筛选和综合之前的固定分母。然而，当前常用的出版商门户、文献索引和学术API的覆盖范围、格式和查询语义随时间变化，导致不同研究之间难以复现和比较。本文提出TopVenues，一个开源系统，将语料库构建实
Chasing Shadows: Pitfalls in LLM Security Research.
本文系统性地探讨了大语言模型（LLM）在安全研究中引入的独特挑战。作者识别出九个常见陷阱，这些陷阱涵盖从数据收集、预训练、微调到提示工程和评估的整个计算流程，可能损害研究的有效性。为了评估这些陷阱的普遍性，作者分析了2023至2024年间发