多模态风险内容识别方法和装置、系统、存储介质
2025-02-26 14:38
No.1344317657322889216
技术概要
PDF全文
本技术公开一种多模态风险内容识别方法和装置、系统、存储介质,包括:获取多种模态数据;将多种模态数据的风险内容通过各模态转换模型对齐到文本模态,形成统一文本摘要形式,同时进行基于相似案例检索增强推理。采用本发明的技术方案,能够全面精准识别潜在风险,并对其进行层次化分类。
背景技术
随着近年来深伪技术(Deepfakes)的显著进展,新型风险内容的出现给国家安全、经济社会稳定造成了严重威胁。然而,现有的内容检测技术在应对日益复杂、隐蔽、逼真、多样化的跨模态风险内容时,显示出明显的局限性: 1)往往聚焦于单个任务,仅能识别某种特定风险,导致模型的训练样本往往较为有限,对于非典型样本的泛化能力有限。 2)侧重于检测某种风险的有无,缺乏对风险的具体类别进行细粒度分类的能力,也无法准确定位到具体的风险点。 3)缺乏多模态能力,无法融合风险内容中跨模态的内容进行检测和分析,形成全面的风险画像,从而限制了对于复杂风险情景的综合分析能力。 4)不基于显式的内容理解,一方面无法对风险内容进行合理的分析,另一方面也使得风险检测的可解释性不足。 因此,为克服上述缺陷,需要在保证细粒度分类准确度的同时提升模型的多风险和跨模态泛化能力。目前,在风险内容检测领域,缺乏一个强大的、可私有化部署的、多模态通用的风险内容检测与分析平台。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
文杰  陈佳锐  林依灵  曾偲航
技术所属: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利