#security-benchmark

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Lixun Ma, Ruolong Ma, Bei Wang, Feng Wei, Zhenguang Liu, Lorenzo Cavallaro, Wentao Chen

本论文聚焦于大型语言模型(LLM)在代码生成中的安全性问题,指出现有基准测试往往依赖明确指定的安全需求,无法覆盖真实开发中提示词模糊或不完整的场景。作者从开发者视角出发,识别出三类典型风险场景:模糊需求(Ambiguous Requirements)、未充分指定的操作上下文(Under-Specified Operational Context)以及安全-功能冲突(Security-Functionality Conflict)。基于这些场景,构建了一个包含2700个测试用例的大规模基准,用于细粒度评估LLM在真实条件下的安全性。对八款最新LLM的广泛评估显示,所有模型在风险场景下的平均漏洞率超过56%。进一步研究发现,安全感知的提示(security-aware prompting)可以显著降低这些风险,提升幅度高达45%。该工作为LLM代码生成的安全评估提供了更贴近实际的测试框架,并证明了简单提示工程对缓解安全问题的有效性。

💡 推荐理由: 该研究揭示了LLM代码生成在真实开发场景中的高漏洞率,并提供了可操作的缓解方向,对依赖LLM开发的安全团队具有重要参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Michael Krieger, Markus Gierlinger, Farooq Shaikh, Mario Kahlhofer

本研究针对Kubernetes(K8s)在微服务架构中作为容器编排标准所面临的安全配置一致性问题,系统比较了八种常用的Kubernetes加固指南,并基于最佳实践建立了包含79项配置建议的基准。通过对十种流行的静态配置扫描工具的结构化实证评估,发现不同加固指南和扫描器在配置问题覆盖范围上存在显著差异,且不同工具对配置问题的评分和排序方式不一致。研究结果强调了需要更标准化、透明和一致的Kubernetes配置问题风险评估方法。对于安全团队而言,该研究揭示了当前工具和标准之间的鸿沟,有助于选择更合适的扫描策略,并推动行业统一基准的形成。

💡 推荐理由: Kubernetes配置错误是常见攻击面,但现有指南和扫描工具不统一导致防护盲区。本研究首次系统对比加固标准和工具,为安全团队提供选型依据,并推动行业标准化。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Faruk Alpay, Taylan Alpay

该论文提出了 AgentSecBench,一个用于系统性评估大型语言模型(LLM)代理安全性的实证基准框架。LLM 代理在处理可信指令、检索记录和工具观测时,所有信息均通过同一个生成通道,导致数据流与权限混淆:即使应用策略未授权,不受信任的字符串也可能影响包含机密的响应或操作提议。AgentSecBench 基于一个形式化安全框架,定义了三个安全博弈:指令完整性、检索机密性和能力完整性,统一在“意图到执行无干扰”概念下,并允许特定的可泄露信息。该框架将应用策略表示为对授权观测和能力的投影,区分提示标注与强制投影,并衡量对抗优势以及防御是否在生成前关闭相关的模型可见通道。实验采用了精确标记(exact-marker)的方法,作为博弈的一种可观测实例,而非完整的语义安全声明,测试了泄露和禁止动作区分器,具有明确的真值基准。作者使用 Qwen3-0.6B 和 Qwen3-1.7B 模型,对六类防御方法进行了配对对抗性和良性控制执行实验。测量结果表明,当通道关闭时风险降低,但模型可见的对抗能力在某些情况下仍然可利用。最终成果是一种面向安全的评估方法:提示文本可以描述边界,而来源投影、能力限制和输出验证可以强制实施边界。该研究为 LLM 代理的安全评估提供了可量化的方法论,适合安全研究人员和 LLM 应用开发者阅读。

💡 推荐理由: LLM代理在实际应用中面临提示注入、隐私泄露和工具滥用等严重威胁,现有评估缺乏统一框架。AgentSecBench提供了可量化的安全评估方法论,能帮助防御者识别代理系统的薄弱环节,推动更安全的代理设计。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)