#self-evolving

共收录 2 条相关安全情报。

← 返回所有主题
👥 作者: Ruixiao Lin, Xinhao Deng, Qingming Li, Jianan Ma, Yunhao Feng, Yuqi Qing, Zhenyuan Li, Yechao Zhang, Shiwen Cui, Changhua Meng, Tianwei Zhang, Xingjun Ma, Qi Li, Ke Xu, Shouling Ji

本文系统性地研究了自进化LLM智能体系统(即能够自主更新其模型参数、记忆、工具和架构的智能体)带来的新型安全与隐私威胁。作者首先提出模块-生命周期攻击面(MLAS)矩阵,将攻击面分解为五个功能模块(大脑、认知资源、执行、自我设计、集体)和五个生命周期阶段(引导、提议、评估、提交、服务),共形成25个单元格。分析发现其中17个单元格面临严重的威胁,且目前缺乏有效的局部缓解措施。此外,作者识别出七种跨模块的放大效应,这些效应会协同作用,无法通过单独保护某个模块来解决。通过对两个开源框架的对比案例研究表明,原生支持进化的框架激活的攻击面细胞数量是传统框架的3.5倍,并且达到100%的攻击持久性(所有40个负载在所有CIA+隐私类别中均持续有效),而传统的安全扫描器仅能阻止2.5%的攻击。本文的核心贡献在于:揭示了自进化机制将每种已知攻击类别从会话受限转变为沿袭持久性,催生了全新的攻击类别,并证明静态防御在结构上无法应对此类威胁,从而呼吁建立进化感知的安全框架和对自修改系统的形式化验证。

💡 推荐理由: 本文首次系统性地揭示了自进化LLM智能体系统特有的安全威胁,指出了静态防御的根本性不足,对于指导未来LLM智能体系统的安全设计具有重要价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Junwei Zhou 0002, Yuyang Gao, Cheng Tan, Yanchao Yang 0002, Jianwen Xiang

该论文提出了一种名为 GLog 的自进化日志异常类型预测框架,旨在解决现有日志异常检测方法在多云和微服务环境中的局限性。传统方法通常只能进行二分类(正常/异常),难以适应动态变化的日志模式,且在日志解析过程中存在语义损失问题。GLog 是一个端到端框架,不需要人工标注的异常类型标签即可动态预测异常类型。其工作流程分为两个阶段:首先,使用正常/异常标签对指令微调的大语言模型(LLM)进行微调,使其能够在原始未解析的日志序列上实现高精度异常检测;然后,对检测到的异常进行聚类,自动生成伪异常类型标签和描述,并用于第二阶段微调,使模型能够预测具体的异常类型并输出可解释的结果。GLog 通过利用完整日志语义并动态更新异常类型库,减少了人工标注成本,能够适应大规模环境中系统行为的演化。实验在多个数据集上验证了其有效性。

💡 推荐理由: 该工作针对日志异常检测的细粒度分类和自适应能力不足提供了创新方案,结合 LLM 和聚类实现自动化的异常类型预测,有望减轻运维人员的分析负担。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)