本文提出 SRD-GUARD，一种面向大语言模型（LLM）的免参数、黑盒防御框架，用于对抗越狱（jailbreak）攻击。越狱攻击常通过角色扮演、虚构场景或看似合理的动机隐藏有害意图，现有推理时防御要么漏掉伪装攻击，要么过度拒绝合法请求。SRD-GUARD 的核心思路是“语义重写 + 共识风险评分”：首先对输入提示词生成 5 个语义等价的改写版本，这些改写保留原始请求的底层目标，但去除上下文包装；然后由多个独立的 LLM 安全评分器对原始提示和改写版本在连续风险尺度上打分；最后决策模块结合绝对风险阈值和原始/改写之间的相对风险变化，自适应地选择拦截、放行或警告。实验基于 Llama-3-8B-Uncensored 和 DeepSeek-V4-Flash 两个模型，针对 UNIATTACK、CIPHER、DeepInception 三类攻击并采用 AdvBench 和 OR-Bench-Hard 基准进行评估。结果显示 SRD-GUARD 的平均有害检测成功率（DSR）分别为 91.44% 和 100%，而合法请求过拒率（ORR）分别为 8.00% 和 12.00%，相比基线取得了更优的 DSR-ORR 权衡。消融实验证明：重写能够暴露隐藏的有害意图；联合评分可增强对单个评分器行为的稳健性；风险自适应决策支持对模糊输入的差异性处理。这些结果表明，语义意图暴露、共识风险评估与相对风险感知路由为黑盒越狱防御提供了一种有效且可选择性强的思路。论文仅提供了 abstract，未包含详细方法推导与完整实验细节，无法验证其实现复现性，因此相关结论需谨慎看待。适合 LLM 安全研究者、红蓝队人员及模型部署方阅读。

该论文研究商用黑盒语音平台（包括云语音 API 和语音控制设备）上的对抗性攻击。现有黑盒攻击通常依赖模型返回的概率分数或置信度信息来生成对抗样本，但服务提供商可以通过不返回这些信息来防御。作者提出两种更贴近实际且条件更严格的攻击方法。针对云语音 API，提出 Occam，一种仅依赖最终决策（decision-only）的黑盒攻击。Occam 将对抗样本生成建模为不连续的大规模全局优化问题，并自适应地将其分解为多个子问题协同优化。实验表明，Occam 在 Google、Alibaba、Microsoft、Tencent、iFlytek、Jingdong 等广泛使用的语音和说话人识别 API 上达到 100% 的攻击成功率（SRoA），平均信噪比（SNR）为 14.23 dB，优于现有最优黑盒攻击。针对语音控制设备，提出 NI-Occam，这是首个非交互式物理对抗攻击，攻击者无需查询目标设备，也无需获取其内部信息或训练数据。作者首次将对抗攻击与模型反演攻击相结合，生成具有高迁移性的物理有效音频对抗样本，实现对目标设备的零交互攻击。实验显示，NI-Occam 能成功欺骗 Apple Siri、Microsoft Cortana、Google Assistant、iFlytek 和 Amazon Echo，平均 SRoA 为 52%，SNR 为 9.65 dB，揭示了对语音控制设备进行非交互式物理攻击的可行性。核心贡献在于降低了攻击所需的先验知识，扩展了对抗攻击的适用场景，同时提醒防御者仅隐藏概率分数不足以抵御攻击。适合关注语音安全、对抗机器学习、物理世界攻击的研究人员阅读。

该论文提出了一种面向实际部署的黑盒后门防御方法 TRIM（Trigger Removal by Identifying Manipulated Regions），用于在推理阶段检测并选择性清除深度神经网络图像分类模型中的后门触发器。后门攻击通过隐藏的恶意触发器让模型在保持高干净准确率的同时，对特定输入产生错误分类。现有防御通常依赖模型内部结构、训练数据或干净验证样本，在仅有模型黑盒访问权限的真实场景中难以部署。TRIM 的核心思路是定位导致模型反常行为的图像区域，并在不影响良性内容的前提下仅净化这些区域。其创新由三个关键组件构成：(i) 基于深度特征表示的区域分割；(ii) 通过图像修复与扩散重建实现的自适应触发器发现，不预设触发器的类型、形状或位置；(iii) 选择性区域净化，在保留良性内容的同时清理被污染的区域。此外，TRIM 会缓存已发现触发器的特征嵌入，以便快速识别和避免重复检测。在多种数据集和后门类型（包括混合式、稀疏、不同大小及多个触发器）上的广泛实验中，TRIM 显著优于现有黑盒防御方法，将攻击成功率（ASR）降低至最低 1.16%，同时保持最高 87.87% 的干净准确率。结果表明，即使防御者没有任何辅助数据，也能在推理阶段有效缓解后门攻击。

文本转语音（TTS）基础模型正越来越多地被用于在私有数据集上微调以合成高度个性化的声音，但这同时引入了严重的隐私风险，因为语音既包含生物特征身份又包含敏感语音内容。现有的黑盒成员推理攻击（MIA）通常采用查询生成和表示工程两阶段流程，但直接应用于TTS时会面临特有挑战：在查询生成方面，合成文本与参考语音的双重条件构成一个庞大且未被充分探索的查询空间，缺乏确定有效查询的准则；在表示工程方面，语音的多层次时序特征使得低级表示和直接比较难以有效捕获成员信号。为此，作者提出了第一个专门针对TTS模型的黑盒MIA框架，同时在说话人层面和记录层面开展工作。在查询生成上，他们刻画了可行查询空间的边界，并提出了两个评估标准（可评分程度和记忆诱导），据此比较了五种代表性查询，发现逐字复述（recitation）是攻击效果最强的查询策略。在表示工程上，他们从外部嵌入模型中提取多级语音表示，并对生成音频与目标音频实施时间对齐，以实现细粒度的成员信号比较。实验覆盖三种最先进的TTS模型（CosyVoice2、F5-TTS、XTTS-v2）和两个公开基准数据集（VCTK与British Dialect），结果显示隐私泄漏严重：说话人级别的AUC在最强设置下仍高于0.80并接近1.0，记录级别AUC则稳定在0.80至0.90之间；即使在成员与非成员均来自同一说话人的高难度场景下，攻击依然有效。此外，作者还识别出与过度记忆高度关联的若干语音特征。该研究首次系统揭示了TTS微调模型的成员推理暴露面，为隐私保护和风险评估提供了关键基础。适合关注语音模型隐私、AI安全及数据治理的研究人员与安全工程师阅读。

本文提出了一种针对 AES128 的黑盒密码分析方法，基于局部反转（Local Inversion）思想，仅利用正向加密的黑盒计算实现密钥恢复。在已知明文攻击（KPA）场景下，作者通过顺序计算证明了当已知 48 位密钥时，可在实际可行的时间和内存内恢复高达 80 位的未知密钥位。他们进一步将 64、72、80 位未知场景下的恢复结果外推至完整 128 位未知密钥，预测了局部反转方法中迭代序列的周期，并提出了一种利用 10 个自由位定义搜索空间、通过暴力并行搜索实际周期的方法。随后，利用快速幂运算对正向加密映射进行验证，可在多项式时间内确认恢复的密钥。该方法表明，AES128 在 KPA 下的密钥恢复问题有较大概率在实际可行时间内成功。作者强调，局部反转黑盒计算是一种通用的密码分析框架，适用于广泛的密钥恢复和映射逆问题，因此这些结果也代表了其他与 AES128 强度相当的密码算法在类似攻击下的安全性估计。本文贡献在于提出了一种理论上可行且具有实践前景的 AES128 分析策略，为后续密码分析研究提供了新思路。

本文提出了一项针对大语言模型（LLM）越狱攻击评估方法的关键改进。当前大多数越狱研究仅以攻击成功率（ASR）作为唯一指标，忽略了攻击预算对结果的影响，导致不同攻击方法之间的比较缺乏公平性。已有的计算感知评估试图将异构资源统一折算为FLOPs，但在黑盒场景下难以准确估计，且无法反映特定资源约束。为此，作者引入了Fair-ASR评估协议，以共享的目标调用预算B作为统一比较轴，目标调用次数是直接可观察且与具体方法无关的度量，同时单独记录攻击者调用次数以分析效率。在Fair-ASR协议下，作者重新评估了11种代表性黑盒越狱攻击，发现攻击排名在不同目标调用预算下会发生显著变化；简单的随机扰动和手工模板在相同目标访问权限下依然极具竞争力；而所有被评估的基于LLM的攻击方法都无法在目标调用和攻击者调用两方面同时达到高效。针对这一效率缺口，作者进一步提出了ReCode，一种组合式预算高效攻击方法，其结合了脱敏重写与Fair-ASR识别出的两种低成本攻击原语。在20次目标调用预算下，ReCode在GPT-5上达到85%的ASR，平均每次请求仅需7.19次攻击者调用，展现了出色的双端效率。该研究为越狱评估提供了更科学的比较范式，并为构建高效攻击与防御策略提供了新视角。适合LLM安全研究者、红队评估人员以及模型部署方阅读。

本研究针对开源权重微调大语言模型（LLM）中后门注入的检测问题进行实证分析。在模型分享平台上，任何人都可以上传自称安全的微调模型，但模型可能内置后门：在普通输入下表现正常，一旦遇到特定触发器则产生恶意行为。对于完全不掌握训练数据、原始干净权重或触发器信息的用户来说，在投入使用前很难验证模型安全性。为此，作者提出了一种黑盒测试方法“自反馈”（self-feeding），其核心思想是将模型自身的输出作为下一次输入喂回给模型，使生成文本逐步偏离初始提示，向微调时使用的数据分布漂移，从而在不依赖任何内部信息的情况下诱发后门触发。作者在6个开源权重LLM（参数量从3B到15B）上开展了实验，这些模型分别被注入了覆盖11类攻击类别（如恶意指令、有害内容等）的后门。使用20个普通起始提示，每个提示最多生成10步链，并与重复同一提示的基线方法进行对比。实验结果显示：自反馈方法在6个模型中的5个成功检测到后门，池化精确率达到92.0%，而基线仅在120个提示-模型组合中的1个上成功；从笑话请求、算术问题或咖啡配方开始的链可以在几步内触发后门。尽管单次提示的召回率较低（19.2%），但结合多个起始提示后，模型级检测率显著提升。研究也指出了方法的不足：1个模型从未被触发，且自反馈产生了2个基线无法产生的误报。进一步优化发现，将链长度缩短至4步，可在保持100%模型级检测精度的同时减少60%的查询。该方法仅需文本级查询接口和识别恶意输出的能力，为下载模型后的廉价快速初筛提供了可行方案。适合LLM安全研究人员、模型评估人员和蓝队成员阅读。

该论文针对语音说话人识别系统（SRS）在真实黑盒场景下的安全性进行了首次系统性研究。说话人识别作为生物特征认证和身份识别机制已被广泛使用，但现有对抗攻击研究大多局限于白盒设置，即攻击者对模型结构和参数有完全知识；而在实际应用中，攻击者通常只能通过查询接口获取有限的输出信息，因此黑盒攻击的可行性仍属开放问题。为此，作者提出了一种名为 FAKEBOB 的黑盒对抗攻击方法。其核心思路是将对抗样本生成建模为一个优化问题，在考虑对抗样本置信度和最大扰动之间平衡的同时，实现攻击强度与不可感知性的兼顾。关键创新在于提出了一种估计算法，用于估算说话人识别系统中使用的分数阈值（score threshold），并将该阈值引入优化目标，从而有效求解优化问题。实验表明，FAKEBOB 在开源系统和商业系统上均能达到 99% 的定向攻击成功率；在物理世界通过空中播放时同样有效。此外，作者进行的人工测试显示，人类很难区分原始语音和对抗语音的说话人。最后，论文将语音识别领域常用的四种对抗防御方法迁移到说话人识别场景，发现这些方法对 FAKEBOB 均无效，说明需要针对 SRS 设计更有效的防御手段。该研究揭示了说话人识别系统在黑盒条件下的安全脆弱性，并推动了其安全鲁棒性改进。注意：本摘要仅基于论文摘要，未涉及具体攻击实现细节。

该论文研究了大语言模型（LLM）的来源追踪（provenance testing）问题，即判断一个待检模型是否与某个源模型属于同一训练或开发谱系。现有黑盒方法大多依赖于模型输出文本的表面特征，但这些特征在模型经过微调、适配或部署环境变化时容易发生漂移，即使模型的语义理解并未改变，导致来源判定的可靠性下降。为了克服这一局限，作者提出将模型对开放型问题的输出映射到有限且离散的决策空间，从而抽象掉表面形式的变化，将来源测试转化为对“诱导决策区域”（induced decision regions）继承性的度量。基于这一思路，论文提出了Stemma，一种实用的黑盒LLM指纹识别方法。Stemma将稳定性、鲁棒性和特异性作为互补的探针选择原则，以可靠地估计决策区域的继承程度。实验环节中，作者使用56个公开检查点构建了770对源-嫌疑模型对，覆盖多种模型权重变换，Stemma取得了0.967的AUC，以及1%假阳性率下87.8%的真阳性率，显著优于四种代表性基线。此外，在覆盖91个部署实例的1260对模型上，Stemma达到了0.995的AUC和1%假阳性率下93.5%的真阳性率，证明了其对多样化推理时部署设置的鲁棒性。该研究的主要贡献包括：提出决策区域继承作为LLM来源信号、设计三种互补的探针选择原则、构建大规模评测基准，并验证了方法在不同变换和部署条件下的有效性。适合AI安全研究者、模型治理与审计人员阅读。

该论文提出了一种名为Fuzz'EMup的方法，利用电磁（EM）侧信道辐射来指导纯黑盒环境下的嵌入式固件模糊测试。随着物联网和嵌入式设备在众多领域的普及，固件安全变得至关重要。模糊测试是一种系统化发现漏洞的有效手段，而覆盖率反馈能通过引导探索提升其效果。然而，许多设备由于固件提取、插桩或精确模拟的困难，导致覆盖率信息无法获取，测试者只能进行低效的黑盒模糊测试。论文的核心挑战在于如何将原始EM测量值转化为可靠的引导信号：EM迹线噪声大，时序抖动会导致不同迹线中的对应特征在时间上偏移。作者通过结合基于活动与空闲信号对比的频带选择（activity-to-idle signal contrast）和动态时间规整（dynamic time warping）来对齐每个输入的迹线并检测持续偏差，同时通过将执行组织成基于发散时间的树形结构来保持可扩展性。在四个真实固件目标上的评估表明，EM衍生的反馈增强了路径探索，相比无引导的模糊测试实现了更高的代码覆盖率。该方法为无法获取内部状态信息的黑盒固件测试提供了新的解决方案。

该论文提出了一种名为GATAS的自动语音识别（ASR）系统黑盒测试方法。研究背景是，尽管基于transformer的ASR模型在关键应用中取得了高准确率，但仍容易受到对抗性攻击，尤其是在黑盒场景下，攻击需要保持感知自然性。现有方法通常直接扰动波形，容易产生不自然的噪声。GATAS创新地利用文本到语音（TTS）模型的音素级潜在空间来生成触发错误的输入，通过在自然语音流形内插值潜在表示来诱导转录错误。该方法将攻击形式化为一个多目标优化问题，平衡语义差异和感知质量。实验评估基于多个白盒和黑盒基线，结果显示GATAS在保持较低失真和更高感知质量的同时，实现了98%的攻击成功率，人类研究也证实了其自然性。即使没有梯度信息，GATAS仍能与白盒方法竞争，表明表示对齐和感知质量比访问模型内部更关键。该工作为ASR系统的鲁棒性测试提供了高效、真实的黑盒测试用例生成方法。

本文提出了一种针对大型语言模型（LLM）及智能体系统中防护栏（guardrail）的黑盒侦察方法。在现实应用中，LLM常配备防护栏系统以检测并阻止恶意指令。然而，在进行黑盒对抗模拟时，研究人员难以区分防护栏拦截与LLM自身拒绝响应（LLM rejection），这两种情况需要不同的绕过策略，从而影响攻击技术的选择与优化。作者首次提出了一套黑盒防护栏侦察方法论，仅通过HTTP、词汇及时间信号的监控行为来推断目标AI系统中是否存在防护栏，无需任何先验知识。实验表明，该方法能以100%的准确率检测防护栏存在，且在良性交互与恶意交互之间实现统计显著的行为分离（q < 0.001）。此外，该方法还能识别防护栏设计阻止的内容类别，并在未见提示上以平均F1分数98%区分防护栏拦截与LLM拒绝。该研究为AI安全评估提供了重要工具，帮助安全从业者在黑盒场景下更准确地理解系统安全机制。

本文针对黑盒成员推理攻击（MIAs）中存在的查询效率问题，提出了一种预查询样本选择框架PSS-MIA。传统的黑盒MIAs对所有候选样本不加区分地进行查询，导致大量查询成本浪费在信息量低的样本上，且增加了查询暴露风险。作者首先定义了问题：哪些候选样本值得查询？PSS-MIA分为两个阶段：第一阶段使用提出的Loss-Gap Ranking（LGR）方法，通过参考模型计算候选样本的损失差（loss gap），估计其成员信号强度，据此对样本排序并筛选出子集；第二阶段仅对选中的样本进行目标模型查询，并将返回结果用于任意现有的黑盒MIA方法。在CIFAR-10、CIFAR-100和CINIC-10数据集上，结合五种代表性黑盒MIA方法（如LiRA、RMIA等）的实验表明，PSS-MIA在保持或提升推理精度的同时，显著降低了查询预算：在0.1%假阳性率（FPR）约束下，分别节省至少83.1%、60.6%和80.4%的查询次数。研究贡献在于提出了一个通用、即插即用的样本选择框架，揭示了样本非均匀成员信号特性，并提供了理论上的排序依据。适合关注机器学习隐私攻击与防御的研究人员、模型发布者以及AI审计团队阅读。

本文提出 PowerFuzz，一种基于功耗侧信道测量的统计黑盒固件模糊测试框架。其核心动机是：许多嵌入式系统的固件或二进制文件不公开，导致无法使用依赖执行反馈（如分支覆盖率）的灰盒模糊器。PowerFuzz 无需目标固件的任何内部可见性，仅通过测量固件运行时的功耗迹线来推断执行路径。为了解决黑盒模糊中确定执行分支的挑战，作者采用滑动窗口结合增长窗口的全迹线相关方法，利用功耗迹线识别分支行为，并构建固件的高层控制流图。该控制流图用于引导模糊器生成测试用例，探索未覆盖的执行路径。实验在三个嵌入式硬件平台（如 ARM Cortex-M 系列）和十个固件基准测试上进行，结果表明 PowerFuzz 的分支覆盖率与灰盒模糊器相当（差距在 13.5% 以内），且显著优于现有的黑盒模糊器（最高提升 22%）。该方法为闭源固件安全测试提供了一种实用且有效的途径。

该论文提出了一种硬标签黑盒通用对抗补丁攻击方法。在现实世界的黑盒场景中，攻击者无法获取模型参数、梯度或置信度分数，只能获得最终的硬标签（如分类结果）。现有的对抗补丁攻击通常需要白盒或灰盒访问，或针对特定实例生成。本文首次研究了在硬标签黑盒设定下生成通用对抗补丁的问题，即补丁可以附加在任何图像上使模型误分类到目标类别。核心方法包括：利用进化策略优化补丁的形状和纹理，通过查询模型获取硬标签反馈来指导搜索；设计了一种基于离散余弦变换（DCT）的低频扰动初始化策略，提高查询效率；并提出基于随机扰动和区域掩码的增强方法，提升补丁的鲁棒性。在多个基准数据集（如ImageNet、CIFAR-10）和模型架构（ResNet、VGG等）上的实验表明，该方法仅需数千次查询即可生成有效补丁，攻击成功率超过80%。该工作揭示了黑盒部署模型面临的新型安全威胁，为后续防御研究提供了基准。

本文提出 IoTBec，一种不依赖固件或源代码的物联网设备漏洞检测框架，专门用于发现黑盒设备中重复出现的漏洞。核心思路是构建“漏洞接口签名”（Vulnerability Interface Signature, VIS），该签名基于对黑盒接口的逆向分析和已知漏洞信息，能够快速匹配目标设备中潜在的相似漏洞。随后，IoTBec 将签名检测与大型语言模型驱动的模糊测试深度结合：一旦匹配成功，自动调用 LLM 生成针对性测试用例进行验证。作者在五家主流 IoT 厂商的设备上进行了大量实验，结果表明 IoTBec 比当前最先进的黑盒模糊测试方法（SOTA）发现的漏洞数量高出 7 倍以上，精确率达 100%，召回率 93.37%。总共检测到 183 个漏洞，其中 169 个获得 CVE 编号，53 个为新发现漏洞且平均 CVSS 3.x 评分为 8.61，涵盖缓冲区溢出、命令注入和 CSRF 等问题。特别地，通过 LLM 驱动的模糊测试还发现了 25 个此前未知的漏洞。该框架的创新在于无需固件或源代码，仅依赖黑盒交互即可高效发现已知漏洞的变种及新漏洞，显著提升了真实场景下的检测效率。适合安全研究人员、IoT 设备制造商及蓝队安全分析师阅读。

该论文聚焦于语音可控智能设备面临的对抗样本（AE）威胁。已有黑盒对抗攻击仅需目标ASR系统最终转录结果，但通常需要大量查询，成本高昂，且对抗样本易受ASR模型更新影响。作者指出根本原因在于无法直接在深度学习模型决策边界附近构造对抗样本。基于此，提出ALIF，首个基于语言学特征的黑盒对抗攻击管道。ALIF利用文本-语音（TTS）和ASR模型的互逆过程，在决策边界所在的语言学嵌入空间中生成扰动。基于ALIF管道，进一步提出ALIF-OTL和ALIF-OTA两种方案，分别针对数字域和物理播放环境，在四个商业ASR和语音助手上进行攻击。大量评估表明，ALIF-OTL和ALIF-OTA的查询效率分别比现有方法提升97.7%和73.3%，且攻击性能相当。尤为突出的是，ALIF-OTL仅需一次查询即可生成攻击样本。时间鲁棒性实验验证了该方法对ASR模型更新的抵抗能力。该研究揭示了低成本、高效的黑盒音频对抗攻击途径，对语音平台安全性构成新挑战。

本文针对自动语音识别（ASR）系统的对抗鲁棒性展开研究。现有对抗攻击直接在波形域添加噪声，存在两个主要局限：一是对黑盒ASR系统的迁移性差，二是易被专门防御波形扰动的机制缓解。为此，作者提出了一种基于代理模型的Clean-Referenced Feature-Vocoder Attack（CR-FVA），将对抗扰动空间从原始波形转移到自监督学习（SSL）表示空间。具体而言，攻击者首先在代理ASR模型（如Whisper-small）的SSL特征层上计算对抗梯度，并扰动更具泛化性的声学-音素表示，从而减少对代理模型特定波形梯度的依赖，提升跨系统迁移性；然后利用声码器（vocoder）将扰动后的SSL特征重构为类语音波形信号，使得最终对抗样本看起来更像自然语音，从而绕过基于波形边界的防御。实验表明，仅以公开的Whisper-small为代理模型，CR-FVA在多个黑盒ASR模型上实现了相对最佳基线平均+26.6%的词错误率（WER）提升；针对多种训练防御（如对抗训练、频谱压缩等），WER提升幅度达+36.2%。该研究揭示了当前ASR鲁棒性评估中的一个盲区：大多数防御仅关注波形域扰动，而基于更高层特征的攻击能轻易绕过。本文工作适合ASR安全研究者、对抗机器学习从业者以及语音系统防御工程师阅读，有助于理解现有防御的不足并设计更全面的鲁棒性评估方案。

该论文聚焦于决策型黑盒对抗攻击（decision-based black-box adversarial attacks）这一严重安全威胁。现有方法存在根本性局限：像素级攻击常引入不自然的高频视觉伪影，而潜在空间框架受限于低维流形的搜索空间以及固有的重建缺陷。为克服这些问题，作者提出了一种名为Latent Geometric Chords（LGC）的高效查询型决策黑盒对抗攻击方法及其变体LGC-H。LGC的核心是在压缩语义流形内执行曲率感知的几何搜索以导航决策边界。为保证高视觉保真度并规避维度瓶颈，作者引入了基于残差的对抗生成（RAG）机制。RAG将语义扰动隔离为几何弦，并直接叠加到原始源图像上，从而显著改善了基线重建缺陷，并将可搜索空间维度有效翻倍。实验结果表明，LGC具有鲁棒的跨数据集迁移能力，并在多个性能指标上显著优于现有基线方法。具体而言，在5000次查询限制下，LGC实现了最小扰动幅度和最高视觉保真度，结构相似性指数（SSIM）超过0.99，学习感知图像块相似度（LPIPS）低于0.01，同时在严格的感知约束下保持高攻击成功率，成功攻破了经过对抗训练（adversarially trained）的鲁棒模型。该工作对理解黑盒模型的脆弱性以及开发更安全的机器学习系统具有重要意义。

本文提出Nautilus Compass，一个面向生产环境LLM coding agent的黑盒人格漂移检测与记忆层系统。研究背景：LLM agent在长时间会话中会出现人格漂移，例如遗忘用户指定的约束、重复已被用户指出的错误、虚构先前的协议。现有白盒方法（如人格向量）需要模型权重，无法应用于大多数用户实际使用的闭源API（Claude、GPT-4）。核心方法：Compass完全在提示文本层操作，使用BGE-m3嵌入计算用户提示与行为锚点文本之间的余弦相似度，并通过加权top-k均值聚合。该方法不调用LLM进行事实提取或构建图，原始对话文本直接嵌入，是唯一公开的不需要索引时调用LLM的记忆层（经与Mem0、Letta等对比）。系统实现为Claude Code插件、MCP A2A服务器、CLI和REST API，并带有Merkle链审计日志以保证锚点更新的防篡改。实验：基于真实Claude Code会话轨迹构建测试集，由独立LLM法官标记，Compass在漂移检测上达到ROC AUC 0.83。其在LongMemEval-S v0.8上得分为56.6%，在EverMemBench-Dynamic上为44.4%（n=500），超过了已发布的四个基线。但LongMemEval-S得分比最新的白盒方法低约30个百分点，作者认为这是无需提取设计的天花板。端到端复现成本为3.50美元（比GPT-4o评估栈便宜约14倍）。代码、锚点、冻结测试数据和审计日志工具均在MIT许可下开源。核心贡献：（1）第一个黑盒、低成本的persona漂移检测方法；（2）提供无需LLM调用的记忆层；（3）实现防篡改审计日志。适合LLM agent开发者和安全研究人员阅读。

本文系统研究了对抗扰动是否具有低秩结构。受Low-Rank Adaptation (LoRA)启发——LoRA通过低秩矩阵更新神经网络层显著提升了大型语言模型的训练效率——作者提出对抗样本的生成也是优化过程，因此自然产生疑问：对抗扰动是否也呈现低秩结构？通过理论分析和多种攻击方法、模型架构、数据集上的大量实验，本文证实对抗扰动确实具有内在低秩性质。基于这一发现，作者聚焦于利用低秩性质改进黑盒对抗攻击的效率与有效性，因为黑盒攻击通常面临查询次数过多的问题。方法分为两步：首先使用参考模型和辅助数据指导梯度投影到低维子空间；然后将黑盒攻击中的扰动搜索限制在该低秩子空间内，从而大幅提升攻击效率和效果。实验覆盖多种攻击方法、基准模型、数据集和威胁模型，结果表明所提出的低秩对抗攻击相比传统方法在全方面取得显著且一致的性能提升。该研究揭示了对抗扰动与模型更新之间的结构相似性，为设计更高效的对抗攻击与防御策略提供了新视角。