#text-to-sql

共收录 3 条相关安全情报。

← 返回所有主题
👥 作者: Travis Weber, Rohit Taneja

该论文关注的是「智能体在重复性任务上表现不一致」这一被长期忽视的可靠性问题。作者首先做了量化测量:选取 42 个任务、每个任务重复执行三次,结果显示根据所用模型不同,有 38% 到 74% 的重复执行返回了互相不一致的答案。作者指出,一致性正是采购方、审计方和监管机构所要求的属性,而当前智能体系统普遍不具备;同时它们还非常浪费——智能体生成内容中有 95.3% 到 97.2% 被用于重新推导系统其实早已掌握的执行计划。 为解决该问题,论文提出「技能习惯化(skill habit formation)」架构。智能体从自身的执行历史中挖掘候选技能,候选技能是确定性的变体,与现有技能(incumbent)竞争而非直接替换。每个候选技能必须显式声明它所覆盖的输入空间区域,从而让常见情况以脚本方式确定性执行,其余输入则回退到推理路径。候选技能需通过四道成本递增的门控,其中最核心的一道是把候选技能的执行轨迹与保留的参考轨迹做比对,容差来自该参考自身在多次运行间的波动幅度,而非人为设定。 实验在 text-to-SQL 场景上展开:四条推理分支中有三条在 42 个重复问题中仅有 11 至 13 个能复现自身输出,第四条为 26 个;而经过习惯化的变体在我们重复的 456 次调度中全部复现,且对其替换掉的每一条分支都达到非劣效(p<0.0001),同时减少 14% 到 56% 的 token 消耗,在 7 至 53 次复用后转为净收益。作者也诚实测量了代价:门控在本应推迟处理的自然改写输入上有 2.6% 误放行,在接近其边界的输入上有 26% 误放行,且 13 例此类失败中有 11 例在任何阈值下都无法被轨迹合规性门控发现。作者强调确定性错误会精确重复——坏习惯与好习惯一样可靠,这正是系统可审计性的代价。此外,将路由与参数抽取分离,使端到端准确率从 0.888 提升到 0.952,而成本仅为原来的 43%。

💡 推荐理由: 它把「非确定性」从抽象担忧变成了可测量的合规风险,并给出可落地的门控与容差设计。对需要可审计、可复现 AI 输出的安全与风控团队尤其关键,同时提醒坏习惯会被稳定复现,误放行的边界风险需纳入监控。

🎯 建议动作: 研究跟进:纳入内部评估,设计小规模重复任务一致性基准验证其门控与容差机制

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
推荐 8.6
Conf: 50%
👥 作者: Mushtari Sadia, Ang Chen, Amrita Roy Chowdhury

PIMENTO 是一个针对非结构化文本分析隐私保护的框架。当前两种主流隐私保证——上下文完整性(CI,约束信息可流向何处)与差分隐私(DP,约束可推断出什么)——都难以直接映射到自然语言上,导致现有方案无法为文本分析提供形式化保证。PIMENTO 将三种自然语言形式(文本语料、查询、隐私政策)统一映射到关系数据库中,构建公共基底,从而可同时形式化地执行 CI 与 DP。其三项核心贡献包括:1)DP 感知的 Text-to-SQL,在候选查询中寻找正确且所需 DP 噪声最小的查询;2)CI 感知的 Text-to-SQL,将自然语言隐私政策编译为数据库上可执行的 CI 规则;3)提出新的隐私定义“上下文差分隐私”,在 CI 下重新定义 DP 邻域,得到更紧的平滑敏感度上界。在新基准测试中,PIMENTO 在 75.3% 的情况下选出最佳查询(较基线最高提升 45 个百分点),并在正确政策落地时实现零泄漏。据作者所知,这是首个在 CI、DP 及其组合下为自然语言分析提供形式化隐私保证的框架。

💡 推荐理由: 对隐私工程、LLM 数据分析和合规团队有直接价值:它把 CI 与 DP 形式化地结合到 Text-to-SQL 流程中,提供了可落地的文本分析隐私保障思路,尤其适合需要处理敏感语料又需自然语言查询的场景。

🎯 建议动作: 研究跟进

排序因子: 影响边界/网络设备 (+5) | 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Ryoto Miyamoto, Xin Fan, Hayato Yamana

该论文针对跨信任边界部署的Text-to-SQL系统面临的策略合规、答案覆盖和成本约束三重挑战,提出了政策条件约束解码方法PCC-SQL。现有方法通常基于查询涉及的列来决定是否拒绝,并采用随机执行策略,但无法处理列的使用方式(如输出、过滤条件、聚合参数),且随机执行不能确定性排除违规。作者形式化了列使用策略,将其与解码器跟踪的语法产生式对齐,通过每个token的logits掩码在单次解码过程中确定性消除支持的SQL片段上的单查询列使用违规。在三个基准和三个开源模型上,PCC-SQL在Spider-CU上实现了0%的泄露率和高达88.7%的覆盖率,token开销控制在直接提示的+10%以内。此外,还通过执行准确性评估了语义对齐。该方法为数据安全策略与自然语言查询接口的集成提供了新范式。

💡 推荐理由: 该工作解决了Text-to-SQL部署中数据访问控制的细粒度问题,实现了确定性策略执行,对于保护敏感列免受不当查询具有重要意义。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)