该论文针对深度学习网络入侵检测系统（NIDS）评估中的可重复性和公平性问题展开研究。现有评估通常假设数据分布静态，忽略随机性和环境变化的影响，导致报告性能无法反映真实部署情况。作者聚焦于能够感知并适应数据分布偏移的先进模型（shift-aware models），通过控制变量实验，系统分析了随机种子、训练数据划分、超参数、环境噪声等随机和环境因素对F1分数等指标的影响。实验表明，即使是微小的变化也可能导致F1分数大幅波动，影响结果的可重复性；部分因素会显著偏斜性能。基于发现，论文提出了一系列实用建议，包括固定随机种子、使用多次重复实验、报告置信区间、统一评估协议等，以支持深度学习NIDS的公平和可重复评估。该工作对于推动NIDS领域的科学评估方法具有重要参考价值。

本文提出了 Fizzle，一个用于网络协议模糊测试的确定性且可复现的框架。网络模糊测试在发现协议实现中的漏洞方面具有重要作用，但传统模糊测试工具由于随机化和非确定性执行，导致测试结果难以复现。Fizzle 通过引入确定性调度和状态记录机制，确保每次运行产生完全相同的输入序列和代码覆盖率，从而为漏洞验证和回归测试提供可靠基础。该框架支持多种网络协议的自定义变异策略，并集成了轻量级模拟器以消除环境依赖。实验表明，Fizzle 在多个真实世界协议实现（如 HTTP、DNS）上能够持续复现已知漏洞，并与现有模糊测试工具相比，运行速度损失控制在 10% 以内。主要贡献包括：1）定义确定性模糊测试的规范；2）实现可复现的变异引擎；3）开源框架以促进社区协作。

该论文评估了顶级安全与隐私会议（CCS）2020至2022年间论文的开放科学实践情况，重点关注可重复性。研究系统地分析了这些论文中代码、数据集、工件等的公开可用性，发现虽然部分论文提供了工件，但整体开放科学实践水平较低，尤其缺乏完整的可重复性支持。作者提出了改进开放科学实践的建议，旨在提升研究透明度和可重复性。

本文聚焦于工业控制系统（ICS）安全研究中的数据集可重现性与透明度问题。研究背景：随着ICS网络安全领域蓬勃发展，大量公开数据集被用于训练入侵检测模型等研究，但数据集的可用性（可获取）与可复用性（可重现结果）之间存在显著差距。核心问题：现有ICS数据集的发布是否遵循了足够严格的工件评估政策，以确保研究结果的可重复验证？方法：作者提出了一套基于安全工件评估政策（如NDSS、USENIX Security等顶会采用的Artifact Evaluation政策）的评估框架，并系统性地审查了多个公开的ICS数据集。他们从数据集文档完整性、环境配置可复现性、数据采集流程清晰度、标签准确性等维度进行量化评分。主要贡献：1）首次系统测量ICS数据集的透明度与可重现性水平；2）揭示了现有数据集普遍存在的文档缺失、环境依赖性高、预处理步骤不透明等问题；3）提出了改进数据集发布规范的建议，包括采用标准化元数据、强制容器化环境、提供可执行预处理脚本等。实验结果表明，仅有不到20%的数据集能达到“可完全复现”的标准，多数数据集存在临时性缺失或依赖未公开的私有工具。适合读者：ICS安全研究员、入侵检测系统开发者、数据集维护者以及网络安全会议论文评审人。

本论文聚焦于解决网络仿真测试平台中缺乏可重现视频流流量生成工具的问题。视频流流量占互联网流量主导地位，但现有工具难以在受控环境中生成具有代表性且可重现的流量，这限制了流量分类、服务质量（QoS）算法及流量工程系统的评估。作者提出了一个工具集，能够生成多种可重现的视频流流量模式。初步工作中，他们探讨了27种不同的流媒体视频流量类型组合，涵盖不同协议和传输特性，并通过实验展示了这些协议在网络层动态上的多样性，包括数据包大小分布、时间间隔模式及突发性等关键网络特征。该工具基于开源框架构建，支持在Docker等容器化或虚拟化测试床上部署，允许研究者精确控制流量参数并重复实验。主要贡献包括：1）填补了仿真测试环境中视频流流量生成工具的空白；2）提供了27种流量组合的详细配置，覆盖主流视频协议如HLS、DASH、WebRTC等；3）验证了生成流量的网络层动态与实际网络抓包数据的高度相似性，确保实验结果的可靠性。该工作尤其适用于网络研究、安全模拟及性能测试场景，为后续研究提供了标准化、可复现的流量生成基础。

本文探讨计算机安全社区中研究成果可重复性的定义与提升方法。可重复性是科学进步的关键，尤其在计算机安全领域，代码和数据的天然可计算性本应使独立复现结果相对简单。然而，尽管安全社区近年来日益重视可重复性，当前方法是否有效仍存疑问。本论文从三个层面展开：首先，衡量现有可重复性研究实践的影响力；其次，构建框架和工具以促进可重复结果；最后，分析作者所采取方法的成效。核心目标是提供简化并增强可重复性的工具集，帮助安全研究人员更有效地共享验证其工作。本文适合关注学术严谨性、希望提升自身研究可复现性的安全学者及审稿人阅读。

本文针对文本到图像（T2I）生成模型越狱评估中存在的复现性和可比性问题，提出了一种自演进论文到管线智能体框架PixJail。当前T2I越狱技术发展迅速，但现有基准和复现工作流难以同步更新；更重要的是，T2I越狱评估并非单次提示级测试，而是一个由多个阶段构成的管线级问题，包括提示转换、图像生成、安全过滤和多模态评判等环节，导致不同论文的结果难以可靠复现和公平比较。PixJail通过以下方式解决该问题：给定一篇T2I越狱论文及可选参考代码，在统一合约下快速构建论文特定的攻击模块和可运行的评估管线，并忠实复现原始实验结果；同时维护一个记忆库，存储论文摘要、攻击演化模式、可复用模板、失败案例及版本化工件，使后续复现工作能够复用先前经验。作者复现了11种代表性T2I越狱方法（包括有代码和无代码论文），在其原始设置下，框架能以极小误差（平均2.1%，中位数0%）准确恢复先前结果。PixJail旨在为未来T2I越狱复现和评估提供统一基础，大幅减少人工工作量。该工作主要面向安全研究社区，特别是关注生成式AI安全评估的从业者。

网络安全文献综述需要可复现的论文集合作为筛选和综合之前的固定分母。然而，当前常用的出版商门户、文献索引和学术API的覆盖范围、格式和查询语义随时间变化，导致不同研究之间难以复现和比较。本文提出TopVenues，一个开源系统，将语料库构建实现为版本化的研究工件。TopVenues通过声明一个会议/期刊和年份范围，以DBLP计算机科学书目作为元数据主干，利用开放学术API和特定出版商提取器丰富记录（添加摘要和BibTeX条目），并将结果存储在单调递增的SQLite快照中，提供命令行界面、Web界面以及适用于综述工作流的导出路径。2026年5月的快照包含从2017年至2026年来自11个网络安全来源的9,925篇论文，摘要覆盖率达99.86%，BibTeX覆盖率达99.99%；对完整语料库的关键词搜索在31毫秒内完成，一套包含250个测试的测试套件验证了数据完整性不变性。固定的语料库还支持可重复测量：在我们的范围内，2024至2025年来自四个顶级安全会议的论文中有29.2%以arXiv预印本形式出现，中位时间在正式出版前五个月；基于先前作者记录过滤器在召回率90%时实现了16.5倍的精确度提升，用于筛选后来出现在同一会议集中的预印本。TopVenues通过使语料库本身可执行、可检查、可引用，将语料库构建与可审计的网络安全测量联系起来。该工件在GitHub上开源。

本文系统性地探讨了大语言模型（LLM）在安全研究中引入的独特挑战。作者识别出九个常见陷阱，这些陷阱涵盖从数据收集、预训练、微调到提示工程和评估的整个计算流程，可能损害研究的有效性。为了评估这些陷阱的普遍性，作者分析了2023至2024年间发表在顶级安全与软件工程会议（如IEEE S&P、USENIX Security、ICSE等）上的72篇经同行评审的论文。结果发现每篇论文至少包含一个陷阱，且每个陷阱在多篇论文中出现，但仅有15.7%的陷阱被作者明确讨论，表明大多数陷阱未被研究者意识到。为进一步理解这些陷阱的实际影响，作者开展了四项实证案例研究，展示了单个陷阱如何误导评估结果、夸大性能或损害可复现性。例如，不恰当的基线选择或数据泄露会导致虚假的性能提升。基于发现，作者提出了一系列可操作指南，包括在论文中明确报告数据分割、参数设置、评估指标和随机种子，以及使用标准化测试集和鲁棒性检查。该研究为LLM安全研究的可复现性和严谨性提供了重要警示，适合从事LLM安全研究的研究人员、审稿人和从业者阅读。