Security and Privacy Prompts in the Wild: What Users Ask LLMs and How LLMs Respond
本研究首次系统性地分析了用户向大型语言模型（LLM）提出的数字安全与隐私（S&P）问题以及LLM的响应质量。研究基于WildChat数据集（包含320万条用户-LLM对话），从中识别出14,727条S&P提示，并将其分为九个类别，涵盖账户安
#LLM
共收录 2152 条相关情报。
← 返回所有主题ShellGames: Speculative LLM-Driven SSH Deception
该论文提出 ShellGames，一种基于大语言模型（LLM）的 SSH 壳层模拟器，旨在解决现有网络欺骗技术中难以维持长时间、可信交互式会话的挑战。当前蜜罐等欺骗手段往往缺乏真实性和动态性，容易被攻击者识破。LLM 虽能生成自然对话，但存
Conflict-Aware Retriever Editing for Knowledge Injection Attacks on LLM-Based RAG Systems
该论文针对检索增强生成（RAG）系统提出了一种新的模型中心攻击框架CAREATTACK，旨在通过编辑检索器模型而非操控语料库来注入恶意知识。RAG系统通常依赖外部知识库，现有攻击多通过构造恶意文本操纵语料库，但此类合成文本易被检测。CARE
Cordon: Semantic Transactions for Tool-Using LLM Agents
本文提出 Cordon，一个专为使用工具的 LLM agent 设计的事务性运行时系统。当前 LLM agent 的运行时将工具调用暴露为独立的 RPC 调用，缺乏任务级执行边界（如提交、回滚、恢复和审计），导致多步 agent 工作流中不
An AI Security Agent for Banking: Multi-Vector Fraud and AML Detection Across Retail and Corporate Accounts
该论文针对零售银行和企业银行面临的两类欺诈威胁——基于签名的欺诈（如无卡支付攻击、账户接管、ATM克隆）和基于行为的金融犯罪（如结构化交易、分层洗钱、钱骡网络、商业邮件诈骗）——提出了一种AI安全代理融合架构。这两类威胁的检测需求根本不同：
Bifrost: Hybrid TEE-FHE Inference for Privacy-Preserving Transformer and LLM Serving
本研究提出 Bifrost，一种融合可信执行环境（TEE）与全同态加密（FHE）的混合推理架构，旨在解决云端 Transformer 和大语言模型（LLM）推理中的用户隐私保护问题。当前云端推理存在直接机密性风险：用户提示可能包含敏感代码、
SoK: AI-Augmented Binary Reversing
二进制逆向工程是软件理解、漏洞发现、恶意软件分析和固件审计的基础，但由于编译过程中语义信息的不可逆丢失，该任务具有本质上的挑战性。近年来，机器学习、大型语言模型（LLM）和智能体AI系统的进展加速了AI增强二进制逆向的采用，但相关研究工作在
OTRO: Oblivious Tokenization Path with Square-Root ORAM
该论文针对CPU侧大语言模型（LLM）分词器在机密计算环境（结合CPU和GPU可信执行环境）中存在的安全漏洞进行了深入研究。分词器通过表驱动查找将提示词转换为token，其内存访问模式会泄露用户输入的侧信道信息。已有工作证明，在Intel
ARVO: Atlas of Reproducible Vulnerabilities for Open-Source Software
该论文针对开源软件漏洞数据集中长期存在的“可重复性、数量、多样性三难困境”问题，提出了一种新的方法，旨在在不牺牲数量和多样性的前提下，大规模实现漏洞的可重复性。作者通过分析现有大规模漏洞复现的主要障碍，并设计通用解决方案，成功将可重复性引入
How Much Can We Trust LLM Search Agents? Measuring Endorsement Vulnerability to Web Content Manipulation
该论文研究基于大语言模型（LLM）的搜索代理在整合网络内容时可能遭受的推荐操纵风险。LLM搜索代理代表用户综合开放网络内容并给出可操作建议，这为攻击者提供了机会：通过发布恶意网页，诱导代理将攻击者的内容转化为被认可的建议。为此，作者提出了S
Automated jailbreak attack targeting multiple defense strategies
大型语言模型（LLM）在广泛任务中展现出卓越能力，但其安全性因易受对抗性提示攻击而备受关注。本文提出 UNIATTACK，一个面向防御视角的自动化对抗测试框架，旨在系统性地构建高效的黑盒攻击提示。与依赖静态模板或迭代式模型微调的现有方法不同
DoubtProbe: Black-Box Jailbreak Defense via Structural Verification and Semantic Auditing
本文提出了一种针对大型语言模型（LLM）的黑盒越狱防御框架 DoubtProbe。随着 LLM 在用户交互系统中的应用日益广泛，黑盒越狱防御成为一个关键实际问题。现有防御方法通常依赖已知攻击覆盖、提示级语义判断或本地运行时控制，但在不断演变
An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios
本文由新加坡AI安全研究所与韩国AI安全研究所联合进行，系统评估了LLM Agent在非对抗性使用场景下的数据泄露风险。以往研究多关注通过提示注入或越狱实现的对抗性数据外泄，但本文指出，在用户提出正常、非恶意请求时，敏感信息也可能因Agen
Transferable Self-Evolving Playbooks for Agentic Security Auditing
该论文提出了一种名为 EvoHunt 的自主演化框架，用于自动生成和优化 LLM 安全审计代理的剧本（Playbook）。当前基于 LLM 的漏洞发现代理通常由三个组件构成：用于代码分析的 LLM、用于导航和工具调用的代理框架（如 Code
Looking Is Not Picking: An Attention-Segment Account of Tool-Selection Failures in LLM Agents
该论文研究了大型语言模型（LLM）智能体在工具选择过程中的失败机制。通常认为，模型在工具集中未能注意到正确工具是导致错误选择的原因，但论文通过注意力片段分析提出了相反的观点：模型在80%的情况下正确关注到了正确的工具，但依然做出了错误选择。
FEnc$^2$: Unifying Data Packing for Efficient Private Inference via Convolution and Architecture-Aware Fragment Encoding
本文针对基于全同态加密（FHE）的隐私保护机器学习推理中存在的计算和内存开销问题展开研究。现有密文打包策略通常仅保持邻近数据元素或特征分组中的一种，导致密文槽利用率低、旋转操作过多、密文数量膨胀，严重制约了推理效率。为此，作者提出了一种统一
From Refusal Geometry to Safety Geometry: Harmfulness--Refusal Coupling under Dynamic Adversarial Fine-Tuning
该论文研究了语言模型在安全对齐过程中，拒绝有害请求与回答良性请求之间的耦合关系。现有评估通常只关注模型的最终拒绝表现，但未能揭示模型是否真正学会了识别有害性、激活拒绝策略，还是仅将两者简单耦合。为此，作者提出了一种“双安全几何”协议，通过测
Loss Landscape Poisoning: Targeted Extraction of Unseen Training Data from LLMs
本文研究了一种针对大型语言模型（LLM）的新型训练数据提取攻击。攻击者通过投毒一小部分训练数据，能够诱导模型泄露一条攻击者无法访问的目标记录（例如私有医疗记录或用户对话）。核心洞察是：通过在目标完成点附近重塑模型的局部损失景观，使其成为尖锐
Dynamic Malicious Skills in Agentic AI
该论文研究了一种针对智能体AI（Agentic AI）的新攻击面——动态恶意技能（Dynamic Malicious Skills）。技能是智能体AI的核心组成部分，通过自然语言文档（如SKILL.md）定义，允许代理动态加载和执行代码。攻
Invisible Manipulation Channels in AI-Assisted Financial Advisory: Implications for Market Integrity and Regulatory Design
该论文研究AI辅助金融咨询（如信用评估、投资顾问）中存在的隐蔽操纵通道。作者发现LLM推理的采样层存在一个漏洞，允许攻击者在保持与输出审计机制（包括统计水印）完全兼容的情况下，系统性偏置AI生成的金融意见。这种推理阶段的操纵在统计上难以检测