#cryptographic-engineering

共收录 1 条相关安全情报。

← 返回所有主题
👥 作者: Wenquan Zhou, An Wang, Jing Liang, Peien Feng, Jingqi Zhang, Yaoling Ding, Liehuang Zhu

该论文针对物联网(IoT)设备密码工程安全领域缺少专用评测基准的空白,提出了 CESBench。研究背景在于:对 IoT 设备而言,仅有安全的密码算法远远不够——拥有物理接触能力的攻击者可以直接攻击实现本身(如侧信道、故障注入),而实现缺陷在设备部署后极难修补。同时,大语言模型已被广泛用于生成和分析这类密码实现代码,但现有基准要么只覆盖密码学理论,要么只覆盖通用网络安全,没有任何一个覆盖“密码工程”这一实现层面的安全维度。CESBench 由专家撰写,共 380 道题目,分布在六个子域:侧信道、故障注入、实现、防护措施、评估与集成。题目分为四种任务类型以考察不同能力:209 道单选题考察知识记忆,67 道判断题要求给出安全结论并附理由,63 道场景题要求进行工程诊断,41 道代码题由 572 个测试用例自动评分。为验证基准,作者让 11 个开源权重与闭源商用 LLM 完成全部题目:选择题与代码题自动打分,判断题与场景题由 LLM 裁判评分,并用另一模型族的第二裁判以及人工重打分进行交叉校验,以保证评分可靠性。结果显示,各模型综合得分区间为 54.4% 至 83.6%。各任务类型的最高分分别为:选择题 98.6%、代码题 95.1%、场景诊断 88.4%,而判断题仅 58.8%。跨模型统计发现,88.5% 的安全结论是正确的,但其理由仅获得评分要点中 53.4% 的分数。这说明选择题对最强模型已接近天花板、大部分代码任务也能完成,而“为安全结论给出充分且正确的论证”仍是最弱的能力项。论文公开了基准、提示词与逐题结果。

💡 推荐理由: 许多团队正用 LLM 生成或审查 IoT 固件中的密码实现。该基准说明:模型往往能给出“正确结论”,却给不出可靠理由,存在“结论对、依据错”的隐性风险,直接信任其安全判定会带来误判。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)