Game-Theoretic Multi-Agent Control for Robust Contextual Reasoning in LLMs
本文针对大型语言模型在多轮交互中长期上下文推理的安全性问题展开研究。在多轮对话中,LLM需要维护一个动态演变的上下文,而不仅仅是生成孤立回复,这使得模型容易受到提示注入和上下文投毒攻击——攻击者通过注入局部的看似合理的对抗性片段,逐步扭曲模
共收录 2152 条相关情报。
← 返回所有主题本文针对大型语言模型在多轮交互中长期上下文推理的安全性问题展开研究。在多轮对话中,LLM需要维护一个动态演变的上下文,而不仅仅是生成孤立回复,这使得模型容易受到提示注入和上下文投毒攻击——攻击者通过注入局部的看似合理的对抗性片段,逐步扭曲模
本文提出了 AuditBench,一个新的基准数据集,用于评估大型语言模型(LLM)在安全相关系统审计日志调查中的能力。该基准涵盖超过50种不同的安全调查场景,包括恶意和良性活动,数据来源于Linux和Windows机器的系统审计日志。作者
本文提出RECON,一种基于大语言模型(LLM)增强的向后约束分析框架,旨在解决传统符号执行在分析现代软件系统(尤其是Android应用)时面临的可扩展性问题。传统符号执行因路径爆炸、函数建模需求及底层程序表示中语义丢失等缺陷,难以应对An
本文研究了大型语言模型(LLM)在领域特定数据集上微调时面临的数据集属性泄露风险。近期研究表明,通过属性推断攻击(property inference attacks),攻击者能够有效提取模型训练数据集中的敏感属性(如数据集的整体分布特征)
本文聚焦于操作系统集成的本地AI(On-Device AI)的隐私边界问题。作者指出,当前隐私讨论常将“本地运行”视为隐私保障的充分条件,但这一观点过于狭隘。本地AI助手可能整合邮件、日历、文件、截图、通知和应用程序意图,保留嵌入或摘要,调
本文提出 RadKey,一种基于射频反向散射的穿墙按键窃听系统。该系统由两个组件构成:一个紧凑的无源反向散射标签和一个射频阅读器。标签利用两个磁耦合 LC 谐振器捕获按键引起的振动和声学信号,并将其调制到反向散射射频信号的频移上,同时实现激
本文聚焦于基于LLM的智能体系统(Agentic AI Systems)中委托执行的可观测性问题。在智能体系统中,代理可以动态选择工具、改变执行序列、并生成协作子代理,导致执行轨迹碎片化和交织。标准审计日志和执行追踪无法区分不同委托分配下的
该论文聚焦于医疗语言模型(LMs)的隐私评估问题。现有隐私评估往往只关注训练文本的恢复,而非现实威胁模型下的信息泄露。作者提出了一个临床接地的隐私评估框架,按敌手访问权限的梯度分级(从公开可推断的人口统计数据到泄露的笔记片段),在每个级别测
本文提出 FuseFSS,一个针对两方服务器安全推理的高效编译器,用于保护大型语言模型(LLM)推理过程中的用户提示和嵌入隐私。当前基于函数秘密共享(FSS)的 GPU 安全推理系统在线性层上表现高效,但非线性操作(如定点非线性函数)和辅助
本文研究了工具使用的大语言模型(LLM)代理面临的两类安全缺陷:一是未经授权的外部操作(如恶意调用外部工具),二是在最终输出检查之前运行时内部敏感明文泄露。现有防御通常仅保护单一边界(规划器/运行时或动作目标),无法同时保障两个面的安全。为
该论文针对大型语言模型(LLM)在差分隐私(DP)适配下的实际隐私保护效果进行了基准测试。研究背景是:虽然DP理论上能提供隐私保障,但由于LLM预训练数据与适配数据可能存在重叠或依赖关系,实际隐私风险可能仍然存在。作者采用最先进的攻击方法,
本文针对脑机接口(BCI)到大型语言模型(LLM)智能体的管道提出了一个新型攻击面:脑提示注入(brain-prompt injection)。该管道将解码的神经活动作为工具使用智能体的授权通道,但攻击者可通过信号侧扰动、上下文仅注入和自适
本文揭示了基于检索增强生成(RAG)的大语言模型(LLM)推荐系统中一种可重复的安全训练失效模式,称为“注入悖论”。该现象表现为:嵌入在检索文档中的提示注入(prompt injection)非但没有帮助攻击者提升目标品牌推荐率,反而由于模
该论文研究了EEG(脑电图)基础模型在发布时面临的属性泄露风险。以往,对这类模型的审计通常是逐个端点进行的,例如原始波形重建、成员推断、身份链接或对下游头部进行差分隐私随机梯度下降(DP-SGD)。然而,作者发现这种单端点审计可能遗漏更隐蔽
该论文首次系统性地研究了文本到图像(T2I)生态系统中LoRA插件的供应链安全风险。随着T2I模型的普及,基于低秩自适应(LoRA)的插件共享生态(如Civitai、Liblib)蓬勃发展,允许用户轻松定制和分享模型能力。然而,这种开放模式
大型语言模型在指令-代码对上进行微调时,可能会记忆并泄露敏感的训练数据。现有的差分隐私(DP)代码生成方法主要保护代码片段,但假设提示(prompt)是公开的,这无法应对现实场景中提示也可能包含敏感信息的情况。当提示在生成过程中不能被显式学
本文揭示了一个存在于当前主流大语言模型(LLM)推理栈中的隐写通道,该通道无需修改模型权重、采样代码或输出分布即可实现秘密通信。其核心原理是利用确定性解码过程中的伪随机数生成器(PRNG)在逆变换采样时产生的种子依赖性:PRNG根据种子生成
该论文针对使用工具的LLM代理(Tool-Using LLM Agents)提出了一种新型的多步越狱攻击方法——上下文碎片化解构攻击(Context-Fractured Decomposition, CFD)。现有的大多数越狱攻击和防御(如
本文对亚马逊 Alexa 平台上的广告行为进行了首次大规模分析,研究了智能语音助手生态中广告的普遍性、特征及对平台政策的合规性。研究背景是随着智能语音助手(如 Alexa)的快速普及以及大型语言模型驱动助手的潜在增长,平台引入“广告 ID”
本文提出了 MGTBench,一个用于评估机器生成文本 (MGT) 检测方法的统一基准测试框架。随着以 ChatGPT 为代表的大型语言模型 (LLM) 在文本分类、情感分析、翻译、问答等 NLP 任务中展现出强大能力,机器生成文本的检测变