PACZero: PAC-Private Fine-Tuning of Language Models via Sign Quantization
本文提出 PACZero,一种基于 PAC(Probably Approximately Correct)隐私的零阶(Zeroth-Order)微调框架,旨在解决大语言模型(LLM)在强隐私保护下的可用性问题。核心思想是利用符号量化(Sig
共收录 2152 条相关情报。
← 返回所有主题本文提出 PACZero,一种基于 PAC(Probably Approximately Correct)隐私的零阶(Zeroth-Order)微调框架,旨在解决大语言模型(LLM)在强隐私保护下的可用性问题。核心思想是利用符号量化(Sig
本文研究了语言模型智能体(LMA)在红队操作中的应用潜力。随着LLM技术的发展,LMA能够辅助攻击规划、对手模拟以及多步活动编排,例如横向移动——这是高级持续性威胁(APT)攻击的核心能力之一。作者利用MITRE ATT&CK框架分析了LM
本文针对自托管计算机使用代理(SHCUA,如 OpenClaw)面临的主机级滥用风险,提出了一种基于 TEE(可信执行环境)的隔离方案。SHCUA 通过自然语言交互可直接访问浏览器、文件、脚本、系统命令等主机资源,虽能自动化真实任务,但也引
本文研究使用小型语言模型(SLM)进行面向解决方案的Windows事件日志分析。大型语言模型(LLM)在事件日志分析中展现出潜力,但高计算需求、对云基础设施的依赖以及安全顾虑限制了实际部署。此外,现有方法大多仅关注问题识别,未能提供可操作的
本文研究了大型语言模型(LLM)代理带来的新型隐私威胁,即通过自动化深度个人画像实现隐私入侵。现有研究多从LLM训练流程出发,关注通过记忆泄露个人身份信息(PII),而缺乏从人类中心视角的隐私研究。作者通过实证调查了真实世界中人类对隐私的感
该论文提出了一种针对基于大型语言模型(LLM)的智能体的有状态后门攻击方法。现有后门攻击在单个会话内执行固定行为,且攻击状态无法跨会话持久化。作者设计了一种有状态后门,通过持久化组件(如文件系统、数据库等)维护攻击状态,使得在一次触发注入后
本文聚焦于大型语言模型(LLM)安全对齐在面对有害微调(Harmful Fine-tuning, HFT)攻击时的脆弱性问题。研究表明,现有的防御方法(如对参数、梯度或内部表示施加约束)在持续性HFT攻击下容易被绕过,其根本原因在于高维参数
LLM agents 依赖提示(prompts)在基础大模型上实现特定任务能力,使得这些提示成为有价值的 intellectual property。但在不可信部署环境下,攻击者可以复制这些提示并在其他专有 LLM 上重用,导致经济损失。现
本文是首项针对GitHub CI工作流中由大语言模型(LLM)引入的安全风险的系统性研究。随着越来越多的CI工作流集成LLM来自动化代码审查、分类、内容生成和仓库维护,外部可控的工作流输入可以塑造LLM的提示词和输出,进而影响安全决策、仓库
本文提出 SkillScope,一个面向 LLM Agent 中 Agent Skills 的细粒度最小权限强制框架。Agent Skills 通过将元数据、自然语言指令和可执行资源打包成可复用的能力包,扩展了 LLM Agent 的功能。
本文针对现代 LLM 代理在执行复杂任务时采用的迭代执行循环机制,提出了一种新型攻击——终止毒化(Termination Poisoning)。在这种循环中,代理反复进行推理、行动和自我评估,以判断任务是否完成。攻击者通过向代理的上下文注入
本文针对检索增强生成(RAG)系统中的数据泄漏风险展开系统研究。RAG技术通过让大语言模型(LLM)利用外部知识库来提升回答质量,但同时也将宝贵的RAG数据库暴露于泄漏攻击之下。随着RAG系统日益复杂,LLM的指令遵循能力不断增强,现有研究
本论文提出 LCC-LLM,一个面向恶意软件归因与多任务静态分析的代码中心基准数据集与证据驱动框架。研究背景是当前基于 LLM 的恶意软件归因受限于不支持的指标以及缺乏代码级别的证据支持,难以准确识别恶意和脆弱代码片段。为解决这些问题,作者
随着基础模型的快速发展,大型语言模型(LLM)智能体展现了日益强大的工具调用能力,但同时也引入了显著的安全风险,恶意行为者可能操纵智能体执行工具以生成有害内容。现有防御机制虽然有效,但常存在过度拒绝问题:提高安全严格性会损害智能体在良性任务
该论文首次针对大型语言模型(LLM)驱动的代理浏览器(agentic browser)提出了以Web为中心的威胁模型。先前研究仅关注间接提示注入攻击,忽略了传统Web攻击对代理浏览器的威胁。作者扩展了See→Act浏览器代理模型,将代理视为
该论文提出 SOCpilot 框架,旨在解决大语言模型(LLM)辅助的应急响应计划中的策略合规性问题。安全运营中心(SOC)开始使用 LLM 作为副驾驶来起草应急响应计划,但这些计划可能包含在目录中有效但违反强制性步骤、顺序要求或审批门控的
本文提出了一种名为PAS(Privacy Anchor Substitution)的结构化机制,用于在空间检索增强生成(RAG)系统中实现用户位置隐私保护。与传统的差分隐私方法直接扰动用户位置不同,PAS采用相对锚点编码来表示位置,该编码由
本文研究大型语言模型(LLMs)在网络安全风险评估中的可靠性,采用CIS控制为基础的方法。研究背景是:组织面临网络安全人员短缺和威胁不断演变的挑战,LLMs被视为潜在辅助工具,但其可能生成不可靠或幻觉内容导致错误决策。核心问题是:LLMs在
本文提出一种基于信息论的对抗训练框架WARDEN,用于提升大型语言模型(LLM)对提示注入等对抗攻击的鲁棒性。当前LLM虽经过对齐与安全训练,仍易受新型攻击策略诱导产生有害行为。现有对抗训练方法计算成本高、难以扩展。最近出现的连续对抗训练方
本文针对企业级AI系统中检索增强生成(RAG)和智能体AI系统的多租户安全隔离问题,提出了一种分层隔离架构。现有系统通常基于语义相似度、关键词匹配或混合方法按相关性对文档排序,而非按授权策略,导致不同租户的查询可能因得分最高而暴露其他租户的