这篇 arXiv 论文关注文生视频（T2V）模型的安全对齐与越狱（jailbreak）攻击评估问题。作者指出，已有 T2V 越狱研究主要追求"更有效"或"更隐蔽"的候选攻击样本；但在真实部署、带安全防护的 T2V 系统中，视频生成与安全评估的开销都很高，攻击者实际上无法对大规模候选池逐一试错。为此，论文把 T2V 越狱重新建模为"查询受限条件下的候选分配与排序问题"，并提出 TempQ-Jail 方法。该方法一方面融合多种异质机制以扩大候选覆盖面，另一方面从四个维度估计每个候选的端到端攻击价值：安全门（安全过滤器）通过情况、危险视觉内容生成能力、原始用户意图的保持程度、以及时间维度的有效性；在此基础上对候选排序，使高价值候选能在有限的查询轨迹中尽早出现。实验在 CogVideoX-5B 上开展，使用从 T2VSafetyBench 衍生的 70 个常见可行意图，并与 6 种代表性 T2V 越狱方法在统一协议下对比。结果显示，TempQ-Jail 的 TP-ASR@5 与 TP-ASR@10 分别达到 48.9% 和 65.4%，较最强基线提升 4.6 和 4.0 个百分点；同时取得最高 AUC-TP（0.469）与最低 AvgQ（平均查询数 6.3）。对查询轨迹、候选分配、失败归因与消融实验的分析表明，在有限查询预算下，该方法能更有效地识别并优先排序具备完整攻击潜力的候选。适合从事 AI 安全对齐、多模态生成模型红队评测与治理的研究者和安全工程师阅读。

该论文对开源文生图（T2I）生态中一类被刻意改造、用于提供有害服务的模型进行了首次系统性、生态级别的测量研究。作者将这类模型命名为 Monet。以往研究只针对单一平台上特定类型的有害 T2I 模型，但 Monet 并非孤立存在，其背后横跨模型特征、跨平台传播、监管规避、商业化变现与下游部署的完整生态长期缺乏认知。研究方法上，作者以真实模型托管平台的服务条款为依据，构建了包含十类有害服务的分类体系；随后在八个主流 T2I 模型平台上开展大规模普查，共识别出 23,947 个 Monet，其中热度最高的单个模型下载量超过 1900 万次。测量结果揭示了几条关键链路：第一，部分开发者虽然部署了防盗机制以阻止未授权二次上传，但 Monet 仍以规模化方式跨平台传播，40.76% 的 Monet 在多个平台存在镜像副本；第二，这种跨平台传播进一步支撑了监管规避，通过跨平台存档，11.99% 的 Monet 即使在原平台被封禁后仍可继续访问，此外还存在关键词混淆、绕过模型级安全防护等规避手法；第三，Monet 还被用于组织化的商业活动，例如一个包含 668 个模型、完成 914 笔委托订单的商业推广活动，以及为灰产账号养号服务做广告的活动；第四，这些模型通过 GitHub 项目与推理 API 触达终端用户，引发了下游儿童安全方面的担忧。论文的核心贡献在于：提出面向真实平台政策的十类有害服务分类体系，完成首个跨八个平台、近两万四千个模型的生态级测量，量化了跨平台镜像率、封禁后仍可访问比例等传播与规避指标，并刻画了 Monet 的商业化与下游分发路径。研究结论指出，单平台割裂式防御存在明显局限，需要跨平台威胁情报共享、协同治理以及技术层面的防护措施。该工作适合平台信任与安全团队、内容风控与模型治理研究者、AI 供应链安全从业者以及从事儿童安全与灰产治理的人员阅读。

端到端加密通信在保护用户隐私的同时，也让平台难以发现其中传播的有害或违法内容，形成“内容检测”与“端到端隐私”之间的根本矛盾。针对该矛盾，作者提出 SEEK——一种面向隐私保护消息协议的高效加密关键词搜索协议，将同态加密（HE）与安全两方计算（2PC）组合使用。SEEK 的设计分两个阶段：第一阶段在发送端把消息切分为“最小充分重叠”的密文分片，使相邻分片共享足以覆盖跨边界关键词的最小重叠量，随后用加密关键词陷门对分片做同态相关运算。对于长消息，该分片策略可将发送端的加密与上传开销相比现有最优基线降低最多两个数量级；同时支持 ASCII 大小写不敏感匹配，只需一个固定长度的加密陷门、每个分片一次同态乘法，相关计算比最强的基于分片的基线快最多 5.47 倍。第二阶段由持有密钥的一方与服务器执行基于 2PC 的选择性解码、盲化零测试与安全聚合，最终只向检测方泄露“关键词存在/不存在”这一个比特，而隐藏关键词本身、其长度、消息内容、匹配次数与匹配位置。在会导致精确匹配失效的大小写变体场景下，SEEK 仍达到 100% 准确率，且无需额外陷门或在线通信。作者进一步实现了端到端的 Web 与跨平台移动应用原型，基于一周消息历史的评测显示每次搜索在线计算耗时约 1.92 秒，验证了方案的实用性与效率。整体而言，这是一项面向加密消息场景、兼顾检测能力与最小信息披露的可搜索加密系统工程工作。

该论文研究端到端加密（E2EE）通信场景下有害媒体（如儿童性虐待材料 CSAM、恐怖主义内容等）的识别问题。由于 E2EE 保护用户隐私，服务提供商无法直接查看消息内容，因此需要在不破坏加密和隐私的前提下检测已知有害媒体。论文提出一种高效的私有成员计算方法，允许客户端或服务端在不泄露查询内容的前提下，判断某个媒体对象（如图片/视频的哈希值）是否存在于已知有害内容数据库中。核心贡献包括：设计轻量级密码学协议，将通信双方的计算与通信开销控制在可接受范围；给出与现有 E2EE 系统（如 Signal、WhatsApp 类架构）集成的接口方案；探讨误报（false positive）对用户隐私的影响，并分析抵御恶意客户端/服务端对抗行为的隐私保证。实验表明该方法在真实规模数据集上具有可行性，显著降低带宽与延迟开销。论文适合安全协议设计者、隐私保护技术研究员、以及负责内容审核策略的工程师阅读。

本文聚焦端到端加密（E2EE）环境下内容审核与隐私保护之间的根本矛盾。E2EE 阻止在线服务访问用户内容，这虽然保障了隐私，却使得传统的服务端明文图像感知哈希匹配（用于检测儿童性虐待材料 CSAM）无法实施。为此，密码学界提出了私有哈希匹配（PHM）方案，允许服务在不知道哈希集合具体内容的情况下匹配已知的 CSAM 图像，同时不向用户泄露哈希集，也不向服务泄露非匹配内容。然而，以 2021 年苹果 iCloud 照片中的 CSAM 检测提案为代表的 PHM 设计，引发了关于安全、隐私和言论自由的广泛批评。本文旨在通过提出新的密码学方法，实现由普通公众对 PHM 系统进行公共验证，从而推进相关学术研究与讨论。作者首先阐述了使用 PHM 检测 CSAM 的动机，以及部署中面临的重大社会与技术问题。他们将 PHM 的批评系统化为两类审计问题：对哈希集的信任和对实现的信任。论文指出，虽然仅靠技术无法完全解决这两个问题，但存在密码学上的信任提升可能。核心贡献是提出了三类新颖的密码学协议，支持对 PHM 系统进行公共验证：（1）证明外部组织批准了哈希集；（2）证明特定的合法内容不在哈希集中；（3）在发生误报匹配时最终通知用户。这些协议被描述为实用、高效，并兼容现有的 PHM 构造。读者包括密码学研究者、隐私倡导者、政策制定者以及负责内容审核平台的安全工程师。

该研究聚焦于AI生成性内容（AIG-SC）在线社区中的治理问题。随着AI生成性内容的生产日益增多，大量支持创作者需求的在线社区应运而生，其中一些大型社区（成员数超过1万）明确制定了禁止创建和分享滥用性内容（例如AI生成的儿童性虐待材料，CSAM）的规则。为理解社区治理尝试如何在支持自由表达的同时防止滥用，研究者对24名来自此类大型社区的成员和版主进行了深度访谈。研究从四个维度展开分析：（1）这些社区形成的方式和原因；（2）隐含的社区规范；（3）明确陈述的规则及其通过内容审核的落地操作；（4）社区价值观与审核之间的张力如何为滥用行为留下空间。主要发现包括：尽管许多创作者和个人对滥用设有个人边界，但关于创建任意形式AI生成性内容的建议和资源对所有用户开放，不论其意图如何；社区中反审查和不评判的规范进一步复杂化了内容审核，导致版主被迫以法律和平台服务条款的边界来为自己行为辩护。研究最后反思了技术、社区和法律治理的结合如何最有效地减少滥用性内容的生产。这项工作对理解在线社区中AI内容治理的挑战、规范与法律框架的互动具有重要参考价值，适合平台治理研究者、政策制定者及内容审核策略设计者阅读。

流式大语言模型（LLM）输出在逐 token 释放时面临审核时机困境：若等待完整输出再审核，敏感内容已经到达用户；若对每个前缀反复进行语义分类，则计算开销大且结果不稳定。本文提出一种确定性的配对完成防护栏（pair-completion guardrail）构造：将每个需要拦截的危险签名定义为两个词法谓词的合取（conjunction）。在每次释放新 chunk 之前，守护程序扫描当前累积前缀；一旦前缀同时满足这两个谓词，就扣留当前 chunk，从而在精确的边界处阻止危险签名完整出现。实验覆盖 4 个签名族、8 种 chunk 大小及 32 次机制试验，流式决策与缓冲扫描器完全一致，并成功扣留每一个使谓词对完整匹配的 chunk；8 个单谓词对照组全部通过，说明机制具备选择性。在另一次 512 次试验的策略对比中，全前缀扫描和完整缓冲能检测所有配置的配对，512 字符滑动窗口检测出 96/128，chunk 局部扫描仅检测出 38/128，凸显了扫描范围对覆盖率的影响。固定签名对在 338 条人工标注的安全响应上误报为 0，在 394 条陪审团标注的不安全响应上检出为 0，证明该方法只覆盖窄范围的预定签名，而非通用语义危害。校准的 Llama Guard 3 1B 基线对同一批数据分别正确分类 310/338 安全响应和 202/394 不安全响应。性能方面，对 16,384 字符响应进行重复前缀扫描，耗时随 chunk 大小在 13.261 ms 至 829.640 ms 之间变化。作者总结：配对完成机制适合作为小型固定策略的精确释放边界兜底，不能替代语义审核。该研究对 LLM 流式输出的安全护栏设计具有参考价值。

该论文聚焦于多轮视觉故事生成中的仇恨意图评估与检测问题。作者指出，图文绘本和漫画长期被用于传播仇恨叙事，因为它们易于理解，连儿童也能看懂，例如纳粹宣传绘本《Der Giftpilz》。随着Gemini、GPT-Image等前沿文本到图像系统的出现，跨轮次生成具有一致角色和场景的对话式图像已成为可能，这使得仇恨视觉故事（即有序图像组共同传达仇恨叙事）的生产变得低成本且可规模化。尽管已有工作研究了T2I系统生成仇恨内容，但主要针对单张图像，忽略了图像组层面的仇恨含义。为填补这一空白，作者引入了HatefulStoryPrompts数据集，包含55个仇恨故事、330种多轮配置，覆盖两种语言和三种视觉风格，并对五个前沿模型进行了4950次测试。结果显示，所有模型都能完成超过80%的故事，最强模型完成率达99.0%。作者进一步评估现有审核系统在HatefulVisualStory数据集（包含969个仇恨图像集和990个良性对照）上的表现，发现现有系统经常漏检群组级仇恨含义：专用安全模型召回率最高仅34.9%，而强大的视觉语言模型也仅达67.5%。最后，作者提出了互补的主动式与生成后防御措施：交互感知监控器在仅提示会话中实现97.3%的召回率，在用户提供首图时达到92.6%；而生成后方法联合分析完整图像组可达80.2%的召回率。该工作表明，随着图像生成从孤立输出演变为连贯视觉叙事，安全机制必须相应进化，从逐图像审核转向对交互和图像关系的状态化推理。

本文针对现代基于大模型的多模态内容审核系统展开鲁棒性研究。传统内容审核分类器通常依赖任务特定模型，策略覆盖有限且缺乏上下文理解；而新近商业化的多模态审核 API 基于大型基础模型，宣称能提供更广泛、更强大的安全过滤能力。研究团队对三家成熟商业图像审核服务进行了大规模黑盒评估，系统比较其鲁棒性。他们设计了七种简单、与模型无关的图像变换方法，并在多个提供商、数据集、危害类别、感知相似度约束及变换强度下进行测试。结果表明：（1）三家商业服务均可被廉价图像变换绕过，且这些变换不需要梯度、替代模型或对目标系统的内部知识；（2）即使是固定变换如颜色反转和灰度化，也能诱导“不安全→安全”的决策翻转，同时保持图像内容对人类依然可辨认；（3）不同数据集和危害类别下各服务的鲁棒性差异显著，尤其是多模态内容和自伤类内容表现出明显弱点。作者由此得出结论：用基础模型 API 替代传统审核分类器本身并不能提供可靠的安全边界；此类系统必须在现实变换条件下进行评估，并作为分层审核流水线中的一个组件部署，而非作为独立安全过滤器。本文适合内容安全平台开发者、审核系统设计者以及关注 AI 安全鲁棒性的研究人员阅读。

该论文研究社交媒体平台X（原Twitter）上的‘软性审核’（如事实核查标签、警告标签）对用户感知不真实政治内容准确性及分享意图的影响。通过实验方法，作者探讨了软性审核措施如何改变用户对虚假或误导性政治信息的认知，并分析了这些措施在实际平台中的效果。研究发现，软性审核标签能显著降低用户对不真实内容的准确性判断，并减少其分享意愿，但效果受用户政治倾向和内容类型影响。该工作为内容审核策略提供了实证依据，有助于理解用户行为与平台干预之间的互动。

该论文提出了一种基于大语言模型引导的演化框架（结合GigaEvo和OpenEvolve），用于对感知哈希算法（PHA）实施有针对性的黑盒第二图像攻击。感知哈希算法广泛应用于图像篡改检测，但对抗性扰动的鲁棒性研究不足。作者设计了一个复合评分函数，综合考虑攻击成功率（归一化汉明距离低于阈值的对抗样本比例）、对哈希函数的查询次数以及相对于原始图像的L2失真度。在pHash、PDQ、PhotoDNA和NeuralHash四种部署的PHA上，使用30对ImageNet图像进行实验，结果表明：与现有黑盒基线相比，该方法能以更少的查询次数达到相当或更高的攻击成功率，同时产生更低的L2失真。最佳演化程序将预定义的复合攻击评分降低了：NeuralHash 41.2%、PDQ 38.3%、pHash 34.0%、PhotoDNA 8.1%。该方法不需要PHA内部知识，能自然处理哈希输出的不可微离散性。这些结果揭示了广泛部署的内容审核流水线中此前未被报告的安全漏洞，并激励开发可证明鲁棒的感知哈希方案。适合安全研究员、内容审核系统开发者以及对抗性机器学习研究者阅读。

这篇论文研究了基于大型语言模型（LLM）的内容审核系统在视觉感知上的盲点。作者指出，当前的内容审核系统主要依赖令牌化文本，忽略了人类在理解内容时所依赖的视觉线索，例如字体、间距、排列等排版特征。这种感知不匹配导致：人类能轻易识别的有害内容，对自动审核系统来说可能完全不可见。为了系统性地研究这一漏洞，作者提出了一类新的攻击手段——人类感知对抗攻击（Human-Perceptible Adversarial Attacks, HPAA）。其核心思想是通过视觉上显著的排版操纵，将有害表达嵌入到看似无害的文本中，使得人类仍能识别其有害性，而机器检测率大幅下降。攻击完全在黑盒设置下进行，仅需少量查询（实验中仅需3次），无需模型访问或梯度信息。作者在多个数据集和十种实际部署的审核系统（包括商业API和最先进的开源防护栏）上评估了攻击效果。结果显示，攻击生成的内容在人类识别率超过86%的同时，在所有被评估系统上的检测率均低于1%。进一步的消融实验分析了促成成功规避的排版因素，并讨论了当前审核架构为何无法捕捉这些信号。最后，作者提出了一些实用性防御措施。该研究揭示了当前基于LLM的审核生态系统中的一个根本盲点，强调需要开发能够更符合人类感知理解的内容审核系统。

本论文研究了感知哈希（Perceptual Hashing）算法的安全性，重点关注其在实际应用（如版权检测、内容审核）中的脆弱性。作者提出了一种针对感知哈希的对抗性攻击方法，能够操纵图像使得其感知哈希值在攻击者控制下发生变化，而视觉效果保持相似或不同。具体来说，攻击者可以生成两张视觉上相同但哈希值截然不同的图像，或者视觉上不同但哈希值相同的图像。这种攻击利用了感知哈希算法对图像微小扰动的敏感性，通过优化噪声添加来实现。实验在pHash、DCT-based哈希等常见感知哈希算法上进行，证明了攻击的有效性。结果表明，基于感知哈希的应用可能被欺骗，从而绕过版权检测、虚假删除合法内容或隐藏恶意内容。论文还讨论了潜在防御策略，如更鲁棒的哈希设计或结合图像质量指标。该工作揭示了感知哈希在安全关键场景中的不足，对内容平台和数字取证领域具有重要警示意义。

本论文研究去中心化文件系统 IPFS（星际文件系统）中的内容审核挑战。IPFS 作为“去中心化网络”的重要组成部分，其分布式架构使得内容管理极为困难。作者通过分析 368,762 个文件，系统性地识别、分类并测量了 IPFS 中存在的问题内容（例如已被下达删除通知的文件）。研究覆盖了完整的内容审核流程：文件如何被标记、谁托管和检索这些文件，以及审核流程的有效性。作者分析了提交到拒绝列表的内容，发现大量问题内容仍被提供服务，且缺乏中心化机制反而促进了问题内容的传播。尽管作者观察到对删除请求的快速响应，但测试了多个网关的弹性后表明，现有过滤手段可以被规避。最终，论文提出了改进内容审核的方案：在检测钓鱼内容方面提高了 227% 的识别率，并将平均过滤时间缩短了 43%。这项工作对去中心化平台治理、内容安全以及分布式系统安全具有重要参考价值。

该研究对 Roblox 平台的聊天安全审核系统进行了首次独立评估。Roblox 拥有数亿每日活跃用户，其中大量为未成年人，这使其成为恶意用户通过实时聊天接触潜在受害者的高风险环境。研究者从四个不同年龄分组的公开游戏服务器中，遵循伦理、法律规范及 Roblox 服务条款，收集了约 200 万条聊天消息作为语料库。由于数据规模庞大，无法完全依赖人工分析，他们采用了两阶段方法：首先人工标记了 99,800 条消息作为安全/不安全的基准真值，并用此评估了四款本地部署的先进大语言模型（LLMs）的分类性能；随后将表现最佳的 LLM 应用于全部语料，识别出潜在不安全消息，再通过迭代开放式和轴式编码进行人工归类，直至达到主题饱和。研究结果显示，当前审核系统存在严重漏洞：大量涉及诱骗、性化未成年人、欺凌骚扰、暴力、自残、共享敏感信息等不安全聊天消息成功逃脱审核。进一步分析表明，那些消息曾被标记过的用户，会采用多种技术（如变体拼写、同音词、隐晦表述等）持续发送有害消息以规避审核。该研究系统性地揭示了现有自动化审核机制的不足，强调了针对青少年社交平台的内容审核亟需改进。

本文系统地研究了中文大型语言模型（LLM）服务中内容审查政策的实现方式。研究团队设计并实现了一个自动化测试框架，通过向多个主流中文LLM服务（如百度文心一言、阿里巴巴通义千问等）发送精心构造的提示词，评估它们对敏感话题（如政治、历史、社会事件等）的响应一致性。实验发现，不同服务在审查的严格程度、触发审查的关键词模式、以及拒绝回答的措辞上存在显著差异。部分服务会直接拒绝回答，另一些则提供符合官方立场的回答，还有服务会给出模糊或转移话题的回复。论文进一步分析了审查政策的文本依据，并讨论了这种不一致性对用户信息获取和言论自由的影响。研究贡献在于首次大规模、多维度地刻画了中国LLM服务的审查实现现状，为理解AI时代的信息控制提供了实证数据。

本研究对大型语言模型（LLM）中的内容审核机制进行了全球范围的系统性分析。论文首先指出现有LLM部署时通常内置了内容过滤器以阻止有害或不当内容，但这些过滤器的有效性和一致性在全球不同地区因语言、文化、法律和监管环境的差异而存在显著不确定性。作者收集了多个主流LLM（如GPT-4、Claude、Llama等）的公开API和开源模型，设计了一套涵盖仇恨言论、敏感政治话题、暴力、色情等类别的多语言测试提示集，覆盖英语、中文、阿拉伯语、俄语、西班牙语等10种主要语言。通过自动化测试和人工评估相结合的方式，报告了不同模型在不同语言下对同一内容管制的差异——某些语言（如英语）的内容过滤极为严格，而其他语言（如低资源语种）则几乎无限制。进一步地，论文还揭示了特定区域（如中国大陆）的模型版本在政治敏感话题上存在额外的本地化审核规则，体现了“套娃式”的审核层级。实验表明，许多LLM的内容审核并非基于统一价值观，而是受到部署地区法律和社会规范的深刻影响，甚至出现“Ba Sing Se”（《降世神通》中虚构的乌托邦城市，寓意掩盖真相）式的表面和谐。该研究的核心贡献在于首次在大规模、多语言、多模型背景下量化了LLM内容审核的地理不均匀性，并提出了威胁分类法（taxonomy）来表征不同级别的审核力度。对于安全从业者而言，本文揭示了通过语言或区域转变绕过内容过滤的潜在攻击面，并强调了在全球化部署中维护一致性审核策略的挑战。