TempQ-Jail: Query-Constrained Candidate Ranking for Text-to-Video Jailbreak Attacks
这篇 arXiv 论文关注文生视频（T2V）模型的安全对齐与越狱（jailbreak）攻击评估问题。作者指出，已有 T2V 越狱研究主要追求"更有效"或"更隐蔽"的候选攻击样本；但在真实部署、带安全防护的 T2V 系统中，视频生成与安全评估
#content-moderation
共收录 17 条相关情报。
← 返回所有主题Monet: Measuring the Ecosystem of Open-Source Text-to-Image Models Tailored for Harmful Services
该论文对开源文生图（T2I）生态中一类被刻意改造、用于提供有害服务的模型进行了首次系统性、生态级别的测量研究。作者将这类模型命名为 Monet。以往研究只针对单一平台上特定类型的有害 T2I 模型，但 Monet 并非孤立存在，其背后横跨模
SEEK: Secure and Efficient Encrypted Keyword Search For Privacy-Preserving Messaging Protocols
端到端加密通信在保护用户隐私的同时，也让平台难以发现其中传播的有害或违法内容，形成“内容检测”与“端到端隐私”之间的根本矛盾。针对该矛盾，作者提出 SEEK——一种面向隐私保护消息协议的高效加密关键词搜索协议，将同态加密（HE）与安全两方计
Identifying Harmful Media in End-to-End Encrypted Communication: Efficient Private Membership Computation.
该论文研究端到端加密（E2EE）通信场景下有害媒体（如儿童性虐待材料 CSAM、恐怖主义内容等）的识别问题。由于 E2EE 保护用户隐私，服务提供商无法直接查看消息内容，因此需要在不破坏加密和隐私的前提下检测已知有害媒体。论文提出一种高效的
Public Verification for Private Hash Matching.
本文聚焦端到端加密（E2EE）环境下内容审核与隐私保护之间的根本矛盾。E2EE 阻止在线服务访问用户内容，这虽然保障了隐私，却使得传统的服务端明文图像感知哈希匹配（用于检测儿童性虐待材料 CSAM）无法实施。为此，密码学界提出了私有哈希匹配
"I Thought You Were The Uncensored Place": Norms, Rules, and Moderation in AI-Generated Sexual Content Communities
该研究聚焦于AI生成性内容（AIG-SC）在线社区中的治理问题。随着AI生成性内容的生产日益增多，大量支持创作者需求的在线社区应运而生，其中一些大型社区（成员数超过1万）明确制定了禁止创建和分享滥用性内容（例如AI生成的儿童性虐待材料，CS
Withholding the Completing Chunk: Deterministic Pair-Completion Guardrails for Streaming LLM Output
流式大语言模型（LLM）输出在逐 token 释放时面临审核时机困境：若等待完整输出再审核，敏感内容已经到达用户；若对每个前缀反复进行语义分类，则计算开销大且结果不稳定。本文提出一种确定性的配对完成防护栏（pair-completion g
Innocent Panels, Hateful Stories: Evaluating and Detecting Hateful Intent in Multi-Turn Visual Story Generation
该论文聚焦于多轮视觉故事生成中的仇恨意图评估与检测问题。作者指出，图文绘本和漫画长期被用于传播仇恨叙事，因为它们易于理解，连儿童也能看懂，例如纳粹宣传绘本《Der Giftpilz》。随着Gemini、GPT-Image等前沿文本到图像系统
Old Tricks, New Models: How Simple Image Transformations Break Modern AI-based Content Moderation
本文针对现代基于大模型的多模态内容审核系统展开鲁棒性研究。传统内容审核分类器通常依赖任务特定模型，策略覆盖有限且缺乏上下文理解；而新近商业化的多模态审核 API 基于大型基础模型，宣称能提供更广泛、更强大的安全过滤能力。研究团队对三家成熟商
"Helps me Take the Post With a Grain of Salt: " Soft Moderation Effects on Accuracy Perceptions and Sharing Intentions of Inauthentic Political Content on X.
该论文研究社交媒体平台X（原Twitter）上的‘软性审核’（如事实核查标签、警告标签）对用户感知不真实政治内容准确性及分享意图的影响。通过实验方法，作者探讨了软性审核措施如何改变用户对虚假或误导性政治信息的认知，并分析了这些措施在实际平台
LLM-Guided Program Evolution for Targeted Black-Box Attacks on Perceptual Hash Algorithms
该论文提出了一种基于大语言模型引导的演化框架（结合GigaEvo和OpenEvolve），用于对感知哈希算法（PHA）实施有针对性的黑盒第二图像攻击。感知哈希算法广泛应用于图像篡改检测，但对抗性扰动的鲁棒性研究不足。作者设计了一个复合评分函
What the Eyes See, the LLMs Miss: Exploiting Human Perception for Adversarial Text Attacks
这篇论文研究了基于大型语言模型（LLM）的内容审核系统在视觉感知上的盲点。作者指出，当前的内容审核系统主要依赖令牌化文本，忽略了人类在理解内容时所依赖的视觉线索，例如字体、间距、排列等排版特征。这种感知不匹配导致：人类能轻易识别的有害内容，
It's Not What It Looks Like: Manipulating Perceptual Hashing based Applications.
本论文研究了感知哈希（Perceptual Hashing）算法的安全性，重点关注其在实际应用（如版权检测、内容审核）中的脆弱性。作者提出了一种针对感知哈希的对抗性攻击方法，能够操纵图像使得其感知哈希值在攻击者控制下发生变化，而视觉效果保持
Guardians of the Galaxy: Content Moderation in the InterPlanetary File System.
本论文研究去中心化文件系统 IPFS（星际文件系统）中的内容审核挑战。IPFS 作为“去中心化网络”的重要组成部分，其分布式架构使得内容管理极为困难。作者通过分析 368,762 个文件，系统性地识别、分类并测量了 IPFS 中存在的问题内
An Evaluation of Chat Safety Moderations in Roblox
该研究对 Roblox 平台的聊天安全审核系统进行了首次独立评估。Roblox 拥有数亿每日活跃用户，其中大量为未成年人，这使其成为恶意用户通过实时聊天接触潜在受害者的高风险环境。研究者从四个不同年龄分组的公开游戏服务器中，遵循伦理、法律规
Characterizing the Implementation of Censorship Policies in Chinese LLM Services.
本文系统地研究了中文大型语言模型（LLM）服务中内容审查政策的实现方式。研究团队设计并实现了一个自动化测试框架，通过向多个主流中文LLM服务（如百度文心一言、阿里巴巴通义千问等）发送精心构造的提示词，评估它们对敏感话题（如政治、历史、社会事
There is No War in Ba Sing Se: A Global Analysis of Content Moderation in Large Language Models.
本研究对大型语言模型（LLM）中的内容审核机制进行了全球范围的系统性分析。论文首先指出现有LLM部署时通常内置了内容过滤器以阻止有害或不当内容，但这些过滤器的有效性和一致性在全球不同地区因语言、文化、法律和监管环境的差异而存在显著不确定性。