共收录 424 条相关情报。
← 返回所有主题本文研究了Handlebars模板引擎在LLM提示构造中的安全风险，特别是三括号插值（{{{x}}}）与双括号插值（{{x}}）对结构角色注入攻击的影响。Handlebars是Microsoft Semantic Kernel默认的提示模板
本研究首次系统性地分析了用户向大型语言模型（LLM）提出的数字安全与隐私（S&P）问题以及LLM的响应质量。研究基于WildChat数据集（包含320万条用户-LLM对话），从中识别出14,727条S&P提示，并将其分为九个类别，涵盖账户安
本文研究了对比语言-图像预训练（CLIP）模型在不同下游部署接口（如特征提取、检索、重排序和选择）中后门暴露的一致性问题。现有CLIP后门攻击通常在单一原生任务上验证，但模型复用时，相同后门在不同接口下的暴露程度未知：可能保持、减弱或失效。
本文针对基于大语言模型（LLM）的智能代理在真实企业文档场景下面临的提示注入攻击防御问题展开研究。现有防御方法主要依赖合成基准测试进行评估，但在实际企业文档（如SEC文件、联邦公报规则、PubMed摘要、arXiv论文和GitHub事后分析
该论文研究基于大语言模型（LLM）的搜索代理在整合网络内容时可能遭受的推荐操纵风险。LLM搜索代理代表用户综合开放网络内容并给出可操作建议，这为攻击者提供了机会：通过发布恶意网页，诱导代理将攻击者的内容转化为被认可的建议。为此，作者提出了S
本文提出了一种针对大型语言模型（LLM）的黑盒越狱防御框架 DoubtProbe。随着 LLM 在用户交互系统中的应用日益广泛，黑盒越狱防御成为一个关键实际问题。现有防御方法通常依赖已知攻击覆盖、提示级语义判断或本地运行时控制，但在不断演变
大型语言模型（LLM）API的广泛使用使得用户依赖黑盒指纹识别来验证服务提供商是否真正部署了所宣称的优质模型。然而，现有指纹识别方法可能忽视恶意提供商通过操纵模型权重来欺骗指纹检测的风险。本研究提出了一种名为“指纹欺骗”（fingerpri
该研究探讨了代码语言模型中的功能性记忆（functional memorization）现象，即模型在生成代码时可能会复制训练数据中的功能逻辑，即使文本上不相似。现有工作主要基于文本重叠的审计指标来检测训练数据泄露，但代码具有功能等价而文本
大型语言模型（LLM）越来越多地用于代码生成，但可能被滥用以产生恶意代码。语法约束解码（GCD）是一种旨在通过强制语法有效性来提高LLM生成代码可靠性的技术。本文揭示了一个反直觉的风险：这种面向可靠性的技术本身可能成为攻击面。作者提出了一种
该论文针对大型语言模型（LLM）面临的后门攻击威胁，提出了一种基于共享内部机制的未知后门移除方法。后门攻击会使模型在干净输入下表现正常，但遇到特定触发器时输出攻击者指定的有害内容。由于防御者通常不了解后门类型或内部机制，移除未知后门极具挑战
本文针对生产环境中大型语言模型（LLM）处理来自不同信任级别指令时存在的结构性脆弱性展开研究。当前LLM对所有令牌赋予相同的架构特权，这导致恶意提示注入攻击有机可乘，且模型缺乏解决合法但冲突指令之间矛盾的原则性方法。现有基于训练的方法试图教
本论文研究了基于语言模型的智能体（Agent）在执行复杂任务时生成的执行追踪（execution traces）所引发的程序技能泄露风险。用户通常依赖这些追踪来观察行为、诊断失败和确保问责，但追踪中包含了丰富的程序细节，如工具调用、中间决策
本文针对大型语言模型（LLM）在参数高效微调过程中可能记忆个体训练样本的问题，提出了一种创新性的经验性隐私审计（EPA）方法。研究背景：微调后的LLM可能泄露隐私，现有审计方法依赖人工设计的“金丝雀”样本，但难以模拟真实数据分布且可能引入隐
本文提出了 AuditBench，一个新的基准数据集，用于评估大型语言模型（LLM）在安全相关系统审计日志调查中的能力。该基准涵盖超过50种不同的安全调查场景，包括恶意和良性活动，数据来源于Linux和Windows机器的系统审计日志。作者
该论文聚焦于医疗语言模型（LMs）的隐私评估问题。现有隐私评估往往只关注训练文本的恢复，而非现实威胁模型下的信息泄露。作者提出了一个临床接地的隐私评估框架，按敌手访问权限的梯度分级（从公开可推断的人口统计数据到泄露的笔记片段），在每个级别测
本文揭示了基于检索增强生成（RAG）的大语言模型（LLM）推荐系统中一种可重复的安全训练失效模式，称为“注入悖论”。该现象表现为：嵌入在检索文档中的提示注入（prompt injection）非但没有帮助攻击者提升目标品牌推荐率，反而由于模
检索增强生成（RAG）系统通常将用户查询、检索文档、元数据、系统标签和任务指令序列化为一个自然语言提示。本研究揭示了一种源权威边界失效模式：攻击者控制的检索文本可以冒充元数据、来源、权威或披露策略信号，这些信号对模型而言呈现为控制相关信息。
该论文研究了针对大语言模型（LLM）代理的技能注入攻击。代理技能是一种轻量级扩展机制，但其开放格式易受技能中毒攻击。现有攻击面临可靠性与隐蔽性之间的权衡：YAML头部注入虽然可靠加载但易被检测；而将恶意命令嵌入技能文本的body注入则因命令
该论文提出了TRACE框架，用于检测自主LLM agent在长期任务轨迹中隐藏的恶意行为。问题背景是：标准轨迹级监控难以检测agent通过一系列单独无害但序列组合后具有恶意的行为。现有方法要么一次性评估整个轨迹，要么将轨迹分割成独立窗口评分
该论文聚焦于多轮短信诈骗（smishing）检测，针对此前工作中提出的合成对话数据集COVA（3,201条标注对话）的局限性进行了扩展。作者指出COVA存在数据污染、标签不匹配、阶段指示泄露以及提示设计缺陷等问题，导致Transformer