#ocr

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Asmita Negi, Neeraj Kumar Singh Beshane

本文针对「实时屏幕共享型 AI 助手」的隐私治理难题提出 PerceptFence。这类助手需要持续读取用户的原始屏幕画面与语音流,但用户几乎无法在运行时控制助手可以观察、记忆或对外披露哪些内容。作者指出,仅靠提示词层面的隐私开关是无效的,因为敏感信息是通过采集通道(屏幕像素、语音、OCR 文本)进入系统的,提示层根本看不到也不掌握这些数据。PerceptFence 的设计是在「采集层」与「记忆层/模型响应层」之间插入一个内容中介层(content-mediation architecture),对流入模型上下文的感知内容做统一的内容级判定与中和处理;论文同时给出了一套确定性的合成夹具(synthetic-fixture)评测脚手架,用固定种子、固定规则保证结果可复现。作者明确声明该工件不包含真实采集、类别推断、经认证的再授权、跨会话状态以及外部模型适配器,因此属于架构与评测方法的贡献,而非可直接部署的系统。评测分两阶段:第一阶段用 9,600 条有协议文档记录的对抗字符串,由独立实现的 exposure oracle 打分,在双方共同运行的 5 个种子上,PerceptFence 对「数字型 PII」载荷的中和率为 0.828,而 Microsoft Presidio 为 0.183;但在该族之外 Presidio 反而领先(0.238 对 0.154),因此总体 0.398 对 0.260 的对比只能视为参考性、非定论。第二阶段更贴近真实部署路径:用 Chrome 渲染 480 张合成的开发者支持工单截图,加入退化处理后交给 OCR 读取,规则在测试前冻结,并留出三种屏幕类型做留出验证;PerceptFence 中和了 968 个经 OCR 仍存活下来的密钥与 PII 值中的 889 个(0.918,Wilson 95% 置信区间 0.899–0.934),对比 Presidio 的 0.581 与 gitleaks 的 0.179;在留出屏幕类型上达到 0.974,代价是这些类型上任务 token 保留率为 0.763。作者强调该工作的贡献是有文档记录的中介架构与带显式覆盖边界的评测方法,并不宣称已实际部署、形式化隐私保证、新的脱敏原语或通用模型鲁棒性。

💡 推荐理由: 屏幕共享与语音是 LLM 助手最容易被忽视的数据入口,提示词级防护对此无效。本文给出了「采集中介层 + 可复现确定性评测」的可借鉴范式,并提供了 OCR 链路下密钥/PII 泄漏的量化基线(0.918 对 gitleaks 0.179),对做 AI 助手数据防泄漏的团队具有直接参考价值。

🎯 建议动作: 研究跟进:将内容中介层与确定性评测方法纳入内部 AI 助手数据防泄漏方案评估,并在自研链路上复现其覆盖度测量方法。

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Elias Schubert, Felix Bießmann

本文针对公共部门中高风险场景下的结构化信息抽取任务,系统评估了开源模型(OCR引擎、大语言模型LLM和视觉语言模型VLM)的端到端性能。研究背景是,虽然专有方案在商业应用中占主导,但开源组件组合成的抽取流水线正成为可行替代,然而在真实多步骤任务上的系统评估仍然缺乏。欧盟《人工智能法案》将公共部门某些文档处理任务归类为高风险,因此负责任地使用这类工具需要基于现实任务的全面评测。作者构建了一个综合基准,使用一个真实世界的高风险文档处理任务——国际学习项目学生申请审核——来评估开源系统的端到端表现。实验覆盖了最先进的OCR引擎、LLM和VLM。核心发现是:VLM通常优于OCR+LLM流水线,但即使最先进的开源模型也难以在零样本设置下可靠处理此类任务;35种配置中只有4种F1分数超过0.5,最好的OCR+LLM流水线与顶级VLM性能相当,但大多数OCR+LLM组合表现明显更差;约75%的配置得分低于0.25。模型规模会影响性能,但关系是非线性的,更大的模型并不保证成比例更好的结果。输入质量,特别是OCR输出的结构保留程度,是独立于下游模型能力的关键因素。该研究为在受监管的高风险公共部门应用中部署开源信息抽取系统提供了实证依据和谨慎乐观的参考。适合关注AI系统负责任部署、开源模型落地评估的从业者阅读。

💡 推荐理由: 为公共部门高风险场景的开源信息抽取系统提供首个真实基准,揭示VLM与OCR+LLM管线的实际性能差距,并指出输入结构保留比模型规模更关键,有助于安全工程师评估此类系统的风险与可靠性。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | 命中热门研究主题 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 8.5
Conf: 50%
👥 作者: Wenbo Sun, Hongzong LI, Yanyun Wang, Jiahao MA, Shuxin Zhuang, Rong Feng, Shiqin Tang, Zi Liang

本文针对深度OCR系统(具体为DeepSeek-OCR)提出了首个纯黑盒对抗攻击方法。Deep-OCR将视觉模态视为光学压缩介质,以低token成本实现长上下文OCR,但其复杂性也引入了新的安全风险。作者将攻击问题重构为一个零阶优化问题:仅能查询解码后的字符串输出,无法获取梯度、logits或模型内部信息。他们直接在字符串输出上定义了基于序列相似性的有界标量损失函数,并采用随机方向有限差分方案估计梯度,该方案的查询成本与图像维度无关。通过带ell_infinity投影的Adam更新,实现对无目标和有目标对抗扰动的生成,且扰动具有不可感知性。初步实验在Deep-OCR上验证了仅字符串攻击和评估流程的有效性,同时暴露了严重的解码器故障,包括重复、截断和提示泄露。实验还表明,受控的目标重写比无目标退化困难得多;在预注册评估完成前,作者未声称目标攻击成功。

💡 推荐理由: 首次对生成式OCR视觉语言模型进行纯黑盒对抗攻击,揭示了文档识别系统在仅有字符串输出时仍可被攻击,对依赖OCR的自动化流程构成威胁。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)