Hidden Risks of Jev: An Empirical Study of Security, Privacy, and Dual Use
该论文针对新兴的 "Jev" 接口开展首次系统性安全、隐私与双用途研究。Jev 能将自然语言问题转化为带类型的答案与概率,具备低延迟、低成本特点,可作为应用决策层,用于请求路由、工具选择等。作者使用官方 Jev API 与本地可训练、可更新
共收录 24 条相关情报。
← 返回所有主题该论文针对新兴的 "Jev" 接口开展首次系统性安全、隐私与双用途研究。Jev 能将自然语言问题转化为带类型的答案与概率,具备低延迟、低成本特点,可作为应用决策层,用于请求路由、工具选择等。作者使用官方 Jev API 与本地可训练、可更新
该论文针对大语言模型(LLM)通过纯文本 API 部署时面临的模型提取风险展开研究。攻击者可通过收集模型响应训练替代模型,从而复制受害模型的能力。尽管已有工作提出了多种提取攻击与防御方法,但现有评估在访问假设、模型配置、查询预算和安全目标上
随着图神经网络(GNN)被广泛以机器学习即服务(MLaaS)的形式对外提供 API,模型窃取攻击已成为关键安全威胁:攻击者仅通过查询受害模型的黑盒接口,就能训练出一个功能等价的替代(代理)模型,从而窃取专有知识产权并危及依赖该模型的下游安全
该论文研究了针对大语言模型蒸馏攻击的防御措施在攻击者后续进行强化学习训练时失效的问题。蒸馏攻击指攻击者系统性地收集闭源前沿模型的推理轨迹,并以此训练自己的模型,从而以低成本复制其推理能力。现有防御通常只在蒸馏完成后立即评估,隐含假设攻击者不
本文重新审视了针对 ReLU 前馈神经网络的"密码分析式"模型提取问题,即把神经网络权重与偏置的恢复类比为对密码算法的密钥恢复,从几何与代数两个视角对这一问题给出新的刻画。论文指出,以往工作大多把注意力集中在网络的单个输出分量上(例如沿某一
该论文关注大语言模型智能体(LLM Agent)面临的非法蒸馏(模型窃取)问题:Agent 通过多步交互与工具调用获得复杂能力,但其完整交互轨迹(trajectory)可能被第三方收集,用来训练能力相近的“学生 Agent”,从而绕过授权与
该论文研究卷积神经网络(CNN)的密码分析式模型提取(cryptanalytic extraction),即在无法接触模型内部实现的前提下,仅通过黑盒查询反推网络结构与权重参数。此前的同类攻击普遍假设目标网络的架构已知,攻击目标仅限于恢复模
该论文关注深度学习模型的知识产权安全问题。深度神经网络(DNN)的训练参数被视为有价值的资产, 近年来在 IACR 系列会议上, 仅通过查询模型接口来还原参数(模型提取/模型窃取)的攻击受到广泛研究。其中最具挑战性的设置是「硬标签」(har
该论文研究硬标签(S1)深度神经网络的密码分析式模型提取问题。背景:在 EUROCRYPT 2025 上,Carlini 等人首次证明,在只能获得模型最终预测类别(硬标签)的黑盒条件下,攻击者可在多项式时间内恢复网络各层神经元的符号(sig
本文研究的是文生图(Text-to-Image, T2I)服务面临的一类知识产权窃取风险:黑盒输出蒸馏(black-box output-based distillation)。攻击者无需接触模型权重,只需反复调用在线服务、收集大量「提示词
本文研究神经网络模型窃取中的一个经典问题:密码分析式提取(cryptanalytic extraction)。这类攻击仅凭对模型原始输出(如 logits 或完整概率向量)的黑盒访问,就能恢复网络参数。然而,以往所有此类攻击都建立在一个根本
该论文是一篇系统性综述 (SoK), 聚焦于一个长期被分散讨论的安全议题: 可解释人工智能 (XAI) 所输出的解释信息, 如何反过来成为攻击者窃取模型机密与训练数据隐私的入口。作者指出, 机器学习解释原本用于提升模型透明度, 但它揭示的是
本文针对边缘设备上部署的深度神经网络(DNN)面临模型逆向工程风险这一问题,提出并实现了一种基于动态分析的模型重构框架,称为 NeuroScope。在现实生活中,智能摄像头、智能音箱、工业控制器等边缘设备往往依赖第三方深度学习模型完成推理任
本文针对机器学习模型被窃取(model extraction)的知识产权保护问题,提出了一种名为 Entangled Watermarking Embeddings (EWE) 的模型水印方法。传统模型水印通过让模型在训练时过拟合到一些远离
本文提出一种针对光滑 Transformer 前馈网络(FFN)的结构性模型提取攻击方法,揭示了黑盒场景下二阶信息泄露内部参数几何的新通道。作者假设攻击者拥有对 FFN 分支的“选定输入-原始输出”(chosen-input raw-out
本文提出了一种名为 D-DAE 的防御穿透式模型提取攻击框架,旨在突破基于扰动查询结果的模型提取防御。近年来研究表明,机器学习模型易受模型提取攻击:攻击者仅通过查询黑盒受害者模型,即可训练出一个性能接近的替代模型。为抵御此类攻击,防御方往往
图神经网络(GNN)是机器学习即服务(MLaaS)中高风险应用的核心技术,但其黑盒部署模式易受模型提取(Model Extraction)攻击:攻击者通过查询API窃取模型知识产权。现有防御措施存在根本性的'欧几里得偏差'——它们直接将图像
本文针对神经网络模型提取攻击在硬标签(hard-label)场景下的计算效率瓶颈,提出了一种基于代数方法的近似签名向量(ASV)技术。现有最优攻击由 Carlini 等人在 EUROCRYPT 2025 提出,理论上具有多项式时间复杂度,但
随着越来越多模型服务以“公共基础模型 + 私有参数高效微调(PEFT)适配”的方式部署,一种新型的差分信息泄露风险逐渐显现:审计者或攻击者可以在本地运行公开的基础模型,并对比受害者服务的输出,从而推断出私有 PEFT 适配的结构。本文提出
本文首次展示了一种攻击方法,能够通过仅对语言模型(LM)进行典型的API访问,以极低的经济成本窃取其解码算法的类型和超参数。解码算法是语言模型生成文本的关键组件,决定了如何从LM输出的内部概率分布中选出文本。选择和调优解码算法需要大量时间、