#risk-management

共收录 4 条相关安全情报。

← 返回所有主题
👥 作者: Murat Kantarcioglu

这是一篇来自 arXiv 的立场/愿景论文(vision paper),作者为 Murat Kantarcioglu,归类于 cs.AI 与 cs.CY。论文指出,AI 系统正快速成为医疗、金融、公共服务等安全关键(safety-critical)领域的核心组件,但当前业界评估这些系统的工程实践仍以“模型为中心”,主要关注部署前的准确率、鲁棒性、公平性和可解释性等属性。作者认为,这些属性虽然必要,却远远不够:一旦 AI 系统运行在持续变化的社会技术(socio-technical)环境中,便会遭遇数据分布漂移、机构与制度约束、人类反馈回路、隐私合规要求,以及多个 AI 智能体之间的交互,纯粹的模型级指标无法刻画系统在真实部署中的失效与风险。 为此,论文提出一个新的 AI 工程子学科——AI 部署问责工程(AI Deployment Accountability Engineering, ADAE)。其核心思想是把“问责性”从单个模型的属性重新定义为部署层(deployment-layer)的系统属性。ADAE 旨在回答若干实际问题:AI 赋能系统是否仍在可接受的风险限值内运行;失败在何种上下文与情境中涌现;如何把失败归因到相互交织的技术组件与人类组件;如何把技术层面的失败翻译为业务、运营与制度层面的下游后果;以及如何在这些环节上支持及时干预。 论文给出了一条由四个相互关联支柱构成的研究议程:一是对上下文相关失效模式的结构化发现;二是隐私保护(privacy-preserving)条件下的问责性度量;三是面向智能体化 AI(agentic AI)的系统级风险分析;四是把技术失败转化为运营与机构风险的转译方法。总体目标是为安全关键场景下的“可问责 AI 部署”建立基础原则、数学工具与系统架构。该文属愿景/议程类工作,未提供具体实验结果,适合 AI 安全治理、MLOps/模型风险管理、合规与 AI 系统工程方向的研究者与从业者阅读。

💡 推荐理由: 它把安全评估的焦点从“模型是否准确”转向“部署后系统是否持续处于可接受风险内”,直接对应 SOC 与安全工程中的运行期监测、失效归因、多智能体交互风险与合规举证问题,为构建 AI 运行时保障框架提供了概念与数学工具的研究路线图。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Martin Diller, Anne Esslinger, Piotr Gorczyca, Evi Hartig, Lia Kacholdt, Hannes Strass

该论文提出了一种名为 SECUMAN 的本体(ontology)和形状(shapes),用于表示和分析医疗器械的网络安全风险管理文档。随着联网医疗器械日益普及,网络安全风险对患者安全构成直接威胁,而当前的风险管理文件通常以半结构化自然语言文本形式维护,导致一致性检查、认证审查和复用困难。SECUMAN 基于 OWL 提供形式化词汇表,用于建模安全风险上下文、评估、控制措施和残余风险评价,并利用 SHACL 约束检查文档的结构完整性和与预期文档模型的一致性。该本体与 VDE Spec 90025 及相关的 RISKMAN 本体和形状对齐,同时将其面向安全的方法扩展到网络安全风险文档相关的概念,如威胁场景、保护目标、攻击者画像、暴露水平、资产和安全设计论证。SECUMAN 旨在支持自动化首轮验证、可追溯性,以及网络安全与安全风险管理文档的集成。这项工作为医疗器械网络安全风险管理的结构化、机器可读表示提供了新思路,有助于减少人工审查负担并提高合规性评估的效率。适合医疗器械制造商、网络安全审计人员、监管机构以及从事安全与风险建模的研究人员阅读。

💡 推荐理由: 医疗器械网络安全直接影响患者安全,当前文档多为非结构化文本,难以自动验证。SECUMAN 提供了 OWL+SHACL 形式化方案,有望提升风险文档的一致性和合规审查效率。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.6)
👥 作者: Naga Sundeep Krishna Thota, Rithika Dulam

本文针对受监管企业在采用SaaS平台时面临的上架(Onboarding)挑战,提出了一种控制驱动的端到端框架。现有流程中,第三方风险管理(TPRM)、网络安全评估、身份与访问管理(IAM)以及灾难恢复(DR)往往相互孤立地执行,导致上线延迟、评估重复、责任不清和残余运营风险。本文框架将这些控制域整合为一个统一的生命周期模型,采用分阶段方法:从记录和风险定界、架构验证、身份设计、韧性评估,再到生产后治理。主要贡献包括:(1)结构化的SaaS上架生命周期,强调控制域间的时序和依赖管理;(2)跨域控制映射,揭示孤岛式审查导致的失效模式;(3)针对安全连接、联邦身份、最小权限访问和共享责任灾难恢复的实用设计模式。框架还基于企业级实施经验提供了参考治理检查表,旨在减少上架摩擦、提升可审计性,并增强SaaS平台的安全与韧性。适合企业安全架构师、风险管理人员、SaaS治理团队阅读。

💡 推荐理由: 为企业提供一套系统化的SaaS上架方法,解决当前流程碎片化问题,提升安全合规效率,特别适用于金融、医疗等受监管行业。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)
👥 作者: Quanyan Zhu

该论文提出了一个面向代理式AI(Agentic AI)部署的AI原生保险数学框架,用于承保、定价和合同设计。代理式AI系统因其自主决策、工具调用、环境修改及第三方交互能力,引入了传统保险无法覆盖的新型风险。作者将AI部署表示为包含自主性级别、操作权限、权限暴露、治理成熟度及依赖集中度等维度的风险状态。框架将风险状态映射到事件概率、损失严重性、治理成本、保费、免赔额、覆盖分配及保单约定,并构建了一个在参与约束、盈利约束和激励相容约束下的保险合同优化问题。论文建立了可保性的结构性特征,包括可保性区域的刻画、暴露增加时可行性的单调恶化以及治理认证阈值。保险被解释为AI部署的运营成本与监管机制。通过一个医疗案例研究,展示了合同优化、敏感性分析及代理式AI系统的自动化理赔处理。适合保险精算师、AI治理专家及安全风险管理从业者阅读。

💡 推荐理由: 随着代理式AI在关键业务场景的部署加速,传统保险模型无法评估其自主决策带来的复杂风险组合。本框架为安全团队提供了一种量化AI风险、设计保单及建立治理门槛的数学基础,有助于将AI安全实践与保险机制衔接。

🎯 建议动作: 研究跟进

排序因子: 来自 arXiv 其他板块 (+2) | Community 数据源 (+1) | LLM 评分加成 (+0.5)