Here is a GIFT: Enforcing User Data Isolation in LLM Serving via GPU Information Flow Tracking
本文针对大语言模型(LLM)服务框架在共享基础设施上处理大量含敏感用户数据时的隔离问题展开研究。现有LLM服务通常将CPU侧框架与GPU加速器结合使用,但同一服务框架内的不同用户之间,以及用户与GPU上的LLM操作者之间,缺乏强隔离机制,可
共收录 2 条相关情报。
← 返回所有主题本文针对大语言模型(LLM)服务框架在共享基础设施上处理大量含敏感用户数据时的隔离问题展开研究。现有LLM服务通常将CPU侧框架与GPU加速器结合使用,但同一服务框架内的不同用户之间,以及用户与GPU上的LLM操作者之间,缺乏强隔离机制,可
本文针对信息泄露漏洞(如架构级或推测执行中的越界/未初始化读取)提出了一种基于类型的数据隔离(TDI)方案。现有基于数据隔离的保密性解决方案通过静态点对点分析为内存对象着色(如敏感与非敏感),并对加载操作进行插桩以在运行时强制颜色匹配。然而