现代车辆通信网络的日益互联使得保护车内通信网络成为关键挑战。入侵检测系统（IDS）作为检测控制器局域网（CAN）总线恶意活动的防御机制被广泛研究。然而，由于实验设置不一致和缺乏标准化基准测试框架，CAN IDS 方法的评估仍然困难。因此，报告的性能往往依赖于数据集特定特征，可能无法反映检测方法在不同环境下的表现。本文引入了一个基准测试框架，用于跨多个数据集对 CAN IDS 进行一致评估。利用该框架，我们整合了在不同实验条件下收集的七个公开 CAN IDS 数据集，并对五种概念上不同的 IDS 方法进行了跨数据集评估。我们的结果强调了检测性能在不同数据集间可能显著变化，证明了跨数据集基准测试对于评估 CAN IDS 方法的鲁棒性和泛化能力的重要性。