#self-supervised-learning

共收录 9 条相关安全情报。

← 返回所有主题
👥 作者: Mahmood Sharif, Pubali Datta, Andy Riddle, Kim Westfall, Adam Bates 0001, Vijay Ganti, Matthew Lentz, David Ott

该论文提出 DrSec 系统,针对端点安全领域日益复杂的攻击以及现有安全产品(如 EDR)的碎片化问题——应用独立开发、误报率高、漏报、缺乏高质量标签——采用自监督学习预训练基础语言模型(LM)来处理事件序列数据。DrSec 输入进程的事件序列,输出进程的分布式表示(嵌入向量)。预训练后,LM 可通过少量或者无监督方式适配多种下游任务,统一当前分裂的应用生态。作者在包含约9100万进程和25.5亿事件的真实数据集上训练了两种 LM 架构,并在三个应用域(无监督进程识别、告警分诊、专家规则学习)中评估。实验表明:DrSec 能够准确进行无监督进程识别;在告警分诊任务上显著优于领先方法(例如精确率-召回率曲线下面积 75.11% vs. ≤64.31%),有效减少告警疲劳;还能准确学习专家开发的规则,从而允许调整事件检测器的误报和漏报率。论文的核心贡献在于证明了大规模自监督预训练能够生成通用且高效的进程表示,并促进端点安全中多种分析任务的一体化,减少对人工标注的依赖。

💡 推荐理由: DrSec 展示了如何用自监督语言模型统一多个端点安全应用,显著提升告警分诊效果,为 EDR 系统提供减少误报/漏报的新范式,值得安全运营团队和研究机构关注。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Tuo Chen, Minjing Dong, Benlei Cui, Jian Liu, Jie Gui

本文针对自监督学习(SSL)预训练模型易受后门攻击的问题,提出了一种全新的、攻击无关、模型无关、模态无关的黑盒测试时防御范式——柏拉图表示防御(Platonic Representation Defense)。该方法受柏拉图表示假设启发,该假设认为大规模独立训练的编码器会收敛到对同一潜在现实的兼容投影。作者将这一思想形式化为一个条件能量函数,该函数定义在源表示和一组参考表示上。能量函数通过噪声对比估计进行检测训练,并通过去噪得分匹配进行表示净化训练。理论上,匹配样本与不匹配样本之间的能量差由源表示与参考表示之间的互信息下界所保证。实验在多个自编码器(如SimCLR、MoCo等)和超过10种攻击下验证了方法的有效性,该方法能同时进行表示检测和净化,并在多种攻击下实现了显著的性能提升。代码已开源。该研究为黑盒场景下的后门防御提供了全新思路,尤其适用于大规模预训练模型部署场景。

💡 推荐理由: 现有后门防御方法大多需要标签、攻击模式或训练数据,无法在完全黑盒的测试时场景下有效工作。本文提出的方法不依赖任何先验知识,仅利用参考模型集合即可实现检测与净化,为实际部署中的SSL模型安全提供了可行的解决方案。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Tianshuo Cong, Xinlei He 0001, Yang Zhang 0016

自监督学习作为一种新兴的机器学习范式,利用无标签数据预训练强大的编码器,这些编码器可作为特征提取器服务于各种下游任务。然而,由于预训练过程需要大量数据和计算资源,编码器本身成为模型所有者的宝贵知识产权。研究表明,模型窃取攻击通过训练替代模型来模仿原始模型行为,严重威胁版权保护。现有版权保护方法(如水印)主要针对分类器,而预训练编码器的版权保护面临独特挑战。本文提出 SSLGuard,首个专为预训练编码器设计的水印方案。SSLGuard 在干净的预训练编码器中注入水印,生成带水印版本,并采用影子训练技术确保水印在潜在模型窃取攻击下仍可保留。通过大量实验,SSLGuard 在水印注入与验证上表现出色,且对模型窃取、输入噪声、输出扰动、覆盖攻击、模型剪枝和微调等水印移除攻击具有鲁棒性。该工作填补了预训练编码器版权保护的空缺,为 AI 模型知识产权保护提供了新思路。

💡 推荐理由: 自监督学习编码器作为核心资产,面临模型窃取威胁。SSLGuard 首次提供水印保护方案,对保护企业 AI 模型版权、防止滥用具有重要意义。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Jianli Dai, Guangwei Wu, Jiacheng Li, Weiping Wang, An He, Xinjun Xiao

该论文针对现有基于图神经网络(GNN)的网络入侵检测系统(NIDS)的局限性——将流量流视为时间独立且依赖有监督学习——提出了一种时间感知的自监督时空图对比学习框架。研究背景:GNN在建模网络流量关系方面有效,但多数方法忽略时间动态特征,且依赖标签导致泛化能力不足。核心问题:如何利用真实时间戳捕获流量时序依赖,并在无标签情况下学习鲁棒表示。方法:首先按时间戳构建一系列时序图,然后使用基于E-GraphSAGE和LSTM的编码器提取时空依赖(避免注意力机制的高开销),接着设计多视图图对比学习方案,联合进行时间对比、空间对比和特征对比,分别捕获时间连续性、保持结构一致性、提升泛化性和鲁棒性。此外,引入基于梯度范数的自适应权重策略优化对比损失。在四个带有真实时间戳的NIDS数据集上实验,该方法显著优于现有自监督方法,性能与有监督的SOTA GNN方法相当,且计算效率高。主要贡献:首次在自监督GNN-NIDS中显式利用真实时间戳,提出高效时空编码器和多视图对比学习方案,以及自适应损失加权策略。适合NIDS研究人员、安全机器学习从业者阅读。

💡 推荐理由: 该工作开创性地将自监督图对比学习与时间感知结合,解决了GNN-NIDS依赖标签、忽略时间演化的痛点,为无标注环境下的实时入侵检测提供了新范式。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Guanhong Tao 0001, Zhenting Wang, Shiwei Feng 0002, Guangyu Shen, Shiqing Ma, Xiangyu Zhang 0001

该论文研究了自监督学习中的后门攻击问题。自监督学习通过大量无标签数据训练特征提取器(编码器),下游任务可在其上构建分类器。然而,攻击者可以通过向无标签训练数据注入后门,使基于后门编码器构建的下游分类器将带有触发器的输入错误分类为目标标签。现有后门攻击存在一个关键缺陷:中毒样本在特征空间中与干净数据显著偏离(即分布外),且中毒样本之间高度集中(高成对相似性),这使得它们易被先进的防御技术检测。为此,论文提出了一种名为Drupe的分布保持后门攻击方法,通过最小化中毒样本与干净数据之间的分布距离,将中毒样本转换为分布内数据;同时将中毒数据分散到目标类别分布的更广区域,以缓解浓度问题。在五个流行数据集上的评估表明,Drupe相比现有攻击显著降低了中毒分布的分布距离和浓度,成功规避了两种最先进的自监督学习后门防御,并且对知情防御者具有鲁棒性。该研究揭示了自监督学习后门攻击的新威胁方向,对安全社区构建更鲁棒的防御方法具有参考价值。

💡 推荐理由: 该攻击突破了自监督学习后门攻击的检测假设,使现有分布防御失效,威胁基础模型下游安全性。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ruijie Zhao 0001, Xianwen Deng, Yanhao Wang, Zhicong Yan, Zhengguang Han, Libo Chen 0001, Zhi Xue, Yijun Wang

文本验证码(text-based captcha)作为一种区分人类用户与机器人的安全机制,虽然已面临多种攻击方法,但仍被广泛使用。近年来,基于深度学习的验证码破解器取得了显著效果,但其高度依赖大量人工标注数据,成本高昂且耗时。此前的一些工作试图通过有限的标注数据集构建易用的破解器,但受限于低效的预处理流程以及对具有复杂安全特性的验证码的识别能力不足。本文提出了一种名为 GeeSolver 的通用、高效且省力的文本验证码破解器,其核心思想是:许多难以攻破的验证码方案通过“破坏”标准字体来增加难度,这种破坏类似于图像中的遮挡(mask)。受此启发,作者利用掩码自编码器(Masked Autoencoder, MAE)架构,让模型从验证码图像中未被遮挡的部分学习潜在表示,从而推断出对应的字符。具体而言,GeeSolver 包含一个 ViT(Vision Transformer)编码器作为潜在表示提取器,以及一个精心设计的解码器用于验证码识别。编码器通过 MAE 范式进行预训练,使其能够仅从局部信息(即未被遮挡的部分)提取出足以推断字符的潜在表示。随后,编码器参数被冻结,利用少量标注验证码和大量未标注验证码,通过半监督学习训练解码器。实验在真实世界的验证码方案上进行,结果表明:GeeSolver 在使用少量标注数据的情况下,大幅超越了当前最先进的方法;同时,它效率极高,使用桌面级 CPU 可在 25 毫秒内破解一个验证码,使用 GPU 仅需 9 毫秒。此外,得益于潜在表示提取能力,GeeSolver 成功破解了先前难以攻击的验证码方案,证明了其通用性。作者希望这项工作能帮助安全专家重新审视文本验证码的设计与可用性。代码已开源。

💡 推荐理由: 该研究展示了自监督学习显著降低了文本验证码破解的门槛,即使只有少量标注数据也能高效攻击复杂验证码,迫使安全从业者重新评估验证码的安全性。

🎯 建议动作: 研究跟进,验证码设计者需评估新型自监督学习方法对自身方案的影响,考虑引入行为验证、多模态验证或更复杂的图灵测试。

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Ahmed Sabbah, Mohammad Kharma, Mohammad Alkhanafseh, Radi Jarrar, Samer Zein, David Mohaisen

本文针对安卓恶意软件检测模型在部署后因概念漂移(concept drift)导致性能下降的问题,提出了一种基于自监督学习和强化学习的自适应维护框架。现有方法通常需要完全重新训练模型,成本高昂。作者将部署期间的维护建模为序列决策问题:首先通过自监督学习在初始化阶段学习稳定的潜在表示,然后冻结编码器,在固定表示空间中测量潜在漂移,最后使用可训练适配器和分类头进行轻量级下游适应。框架采用近端策略优化(PPO)控制器,根据检测器状态(包括当前效用、固定记忆集上的保留率、潜在漂移指标和更新成本)选择低成本的维护动作。在模拟器和真实安卓恶意软件数据集上,使用静态和动态特征,并采用因果部署风格的评估协议。实验结果表明,强化学习控制器提供了成本感知的强适应策略,始终保持在最优策略之列,同时在非平稳部署条件下实现了时间性能、记忆保留和维护成本之间的良好平衡。该工作为安卓恶意软件检测的持续学习提供了实用方案,适合从事移动安全、机器学习系统维护的研究人员阅读。

💡 推荐理由: 安卓恶意软件检测面临概念漂移挑战,现有全量重训练成本高。本工作提出轻量级自适应框架,利用自监督和强化学习在性能和成本间取得平衡,对蓝队维护检测模型有实际参考价值。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Xiaoyun Xu, Shujian Yu, Zhuoran Liu 0001, Stjepan Picek

本文针对视觉 Transformer(ViT)在对抗攻击下的脆弱性展开系统研究。ViT 已成为现代视觉-语言模型的基础架构,但其对抗鲁棒性不足,需要专门的对抗训练(AT)策略。作者首先指出现有最先进的 AT 方法(如 Generalist 和 DBAT)与 ViT 存在显著不兼容性。接着,论文从互信息(MI)角度进行理论分析,证明在基于自编码器的自监督预训练中,对抗样本与其潜在表示之间的互信息应通过导出的 MI 界限进行约束。基于此洞察,作者提出一种自监督 AT 方法 MIMIR,该方法通过掩码图像建模和自编码器,引入互信息惩罚项来增强对抗预训练。在 CIFAR-10、Tiny-ImageNet 和 ImageNet-1K 上的大量实验表明,MIMIR 能够持续提升自然准确率和鲁棒准确率,在 ImageNet-1K 上全面超越现有最先进方法。此外,MIMIR 对未知攻击和常见损坏数据表现出卓越的鲁棒性,还能抵御完全知晓防御机制的自适应攻击。代码和训练模型已开源。本研究适合对抗机器学习、视觉安全领域的研究人员和工程师阅读。

💡 推荐理由: ViT 在视觉任务中广泛应用,但对抗鲁棒性不足。MIMIR 提供了一种新的自监督对抗训练范式,通过互信息约束显著提升了鲁棒性,且对未知攻击有效,具有重要实践价值。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Hao Luan, Xue Tan, Zhiheng Li, Jun Dai 0001, Xiaoyan Sun 0003, Ping Chen 0003

本文提出一种基于自监督学习的模型提取攻击方法,旨在同时实现数据集缩减和水印移除。传统模型提取攻击通常需要大量查询和完整训练数据,且可能保留原始模型的水印。作者利用自监督学习(如对比学习)从目标模型中提取知识,仅需少量未标记样本即可训练一个紧凑的替代模型。该方法通过构建正负样本对进行对比学习,使替代模型模仿目标模型的表示空间,从而在减少数据集规模(例如仅需原始数据集的10%)的同时,有效消除嵌入在目标模型中的水印。实验在多个图像分类数据集(CIFAR-10, CIFAR-100, SVHN)和不同架构(ResNet, VGG)上进行,结果显示替代模型在保持高准确率(接近目标模型)的同时,水印移除成功率显著高于基线方法。该研究揭示了自监督学习在模型窃取中的潜力,对模型水印保护机制构成新挑战。

💡 推荐理由: 该研究暴露了自监督学习可被用于高效模型窃取并绕过水印保护,威胁模型知识产权和安全性,需引起防御方重视。

🎯 建议动作: 研究跟进

排序因子: 来自网络安全顶级会议 (+8) | Community 数据源 (+1) | LLM 评分加成 (+0.5)