一种基于VQ-GCN的医学多模态隐空间对齐融合方法及系统
2025-02-26 10:16
No.1344251721337282560
技术概要
PDF全文
一种基于VQ‑GCN的医学多模态隐空间对齐融合方法及系统,它属于医学多模态融合技术领域。本技术解决了传统融合方法难以在同一特征空间内保持语义一致性的问题。本发明方法具体为:步骤S1、分别为每个模态数据分别构建特征提取器;步骤S2、并将各个模态数据分别输入对应的特征提取器,获得各个模态数据的模态特征;步骤S3、对各个模态数据的模态特征进行隐空间对齐,分别获得各个模态的最终语义编码特征以及全部模态的最终共有语义特征;步骤S4、对各个模态的最终语义编码特征和全部模态的最终共有语义特征进行分层跨模态注意力特征融合,获得医学多模态特征融合结果。本发明方法可以应用于医学多模态隐空间对齐融合。
背景技术
随着医学影像技术的不断发展,越来越多的临床诊断和治疗依赖于多种模态的医学数据,如影像数据、病理数据和检查报告等。这些数据为临床医生提供了更加全面的患者信息,从而有助于提高诊断的准确性和治疗方案的有效性。然而,不同模态的医学数据通常具有不同的分辨率、尺度和特征表达方式,导致了信息融合与综合分析的复杂性。目前,多模态数据融合的技术主要包括早期融合、晚期融合及联合对齐等方法。早期融合将不同模态的数据直接进行特征级别的合并,而晚期融合则在各自独立处理后进行决策级别的融合。虽然这些方法在一定程度上提高了数据的利用效率,但由于各模态数据之间存在显著的语义差异和分布不一致性,传统的融合方法难以在同一特征空间内保持语义的一致性,从而导致融合过程中的信息损失和诊断精度下降。因此,如何保证多模态数据在同一特征空间内保持语义的一致性,仍然是一项挑战。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
李向宇  蒋杰  骆功宁  王玮  李钦策  袁永峰  王宽全
技术所属: 哈尔滨工业大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利