该论文聚焦于计算机安全领域的可重复性研究问题。可重复性是科学进步的关键，能够增强对看似矛盾结果的信心并拓展已知发现的边界。计算机安全领域天然具备创建便于计算可重复性的工件（如代码、数据）的优势，使得其他人能够相对直接地独立重现结果。尽管安全社区近年来对可重复性的关注有所增加，但当前提升可重复研究的方法是否有效仍是一个开放问题。本论文旨在衡量当前可重复研究方法的实际影响，构建用于提升可重复性成果的框架与工具，并分析所采用的方法。最终目标是提供简化并提高安全研究人员研究可重复性的工具。论文内容包括：对现有可重复性实践的量化评估、新框架的设计与实现、以及通过案例研究验证工具的有效性。该工作适合所有关注研究可重复性的安全学者、实践者及审稿人阅读。

本文系统性地探讨了大语言模型（LLM）在安全研究中引入的独特挑战。作者识别出九个常见陷阱，这些陷阱涵盖从数据收集、预训练、微调到提示工程和评估的整个计算流程，可能损害研究的有效性。为了评估这些陷阱的普遍性，作者分析了2023至2024年间发表在顶级安全与软件工程会议（如IEEE S&P、USENIX Security、ICSE等）上的72篇经同行评审的论文。结果发现每篇论文至少包含一个陷阱，且每个陷阱在多篇论文中出现，但仅有15.7%的陷阱被作者明确讨论，表明大多数陷阱未被研究者意识到。为进一步理解这些陷阱的实际影响，作者开展了四项实证案例研究，展示了单个陷阱如何误导评估结果、夸大性能或损害可复现性。例如，不恰当的基线选择或数据泄露会导致虚假的性能提升。基于发现，作者提出了一系列可操作指南，包括在论文中明确报告数据分割、参数设置、评估指标和随机种子，以及使用标准化测试集和鲁棒性检查。该研究为LLM安全研究的可复现性和严谨性提供了重要警示，适合从事LLM安全研究的研究人员、审稿人和从业者阅读。