一种针对多模态数据离散语义编码的装置和方法
2025-02-23 15:08
No.1343238148238614528
技术概要
PDF全文
本技术公开了一种针对多模态数据离散语义编码的装置和方法,方法包括以下步骤:S1、数据编码器的输入数据为x,采用LSTM对于文本数据进行编码,采用CNN模型对于图片进行编码,输出结果为一个多维张量h;S2、将h中代表现实意义的维度作为主要坐标输入Transfomer,然后经过数层Transfomer计算后,用Transfomer的前M个维度预测q(z|h)。本方案通过新的损失函数实现数据编码z的离散化,保证z包含丰富的信息,最大程度的保留原始数据中的信息点。
背景技术
将多模态数据转换为离散编码在许多行业有着重大意义。首先因为离散变量相较于连续的模拟数据占据更小的空间,因此可以大大的节省数据存储的空间,对于数据湖、物联网和边缘计算领域有着很高的作用,大大节省成本。其次,对于离散编码可以更加高效的被检索,因此对于大规模的信息(图片、文本、视频等)信息检索,离散编码有着巨大的优势。最后,离散编码相较于连续的向量有着更好的可读性,对于促进科研人员理解人工智能系统,进行人工智能决策优化有着重要的作用。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
赵天成
技术所属: 宏龙科技(杭州)有限公司 杭州联汇科技股份有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利