一种基于多模态深度学习的智能辅助方法及系统
2025-02-23 10:19
No.1343165440633085952
技术概要
PDF全文
本申请公开了一种基于多模态深度学习的智能辅助方法及系统,涉及医学影像处理、数据处理技术,包括:基于病情描述文本数据提取文本特征,以及提取医学影像数据的影像特征;根据提取的文本特征和影像特征分别输入预先训练的LSTM,以利用LSTM输出上下文的病情文本特征和局部的病灶特征;对所输出的上下文的病情文本特征和局部的病灶特征,利用注意力融合机制进行加权融合;将加权融合的特征利用编码器进行编码,以通过编码器输出文本关联的病灶特征;将文本关联的病灶特征与局部的病灶特征利用解码器进行解码,以基于所述解码器输出预测的病灶情况。本申请通过跨模态的文本与图像特征的融合,提高了模型的预测精度。
背景技术
随着人工智能的发展,人工智能在医疗上的应用越来越普遍,例如利用神经网络对大量医疗诊断图像的学习实现疾病分类的目的。为了提升疾病分类的准确性,进一步提出了多模态融合技术,例如图像模态与文本模态的融合。图像与文本融合可以补充单一图像或文本缺失的信息,使得神经网络模型的分类能力更强,分类结果更准确。 现有技术包含通过对图像模态和文本模态进行特征抽取,然后分别对这些特征进行训练,并最终通过决策级融合进行分类。例如专利号为2023116944924的中国专利,公开了“一种基于对比学习的电子病历多模态医疗语义对齐方法”,即是对图像、文本模态分别进行特征提取与训练,最后进行决策融合。然而,这种方法忽略了图像和文本之间的关联性,仅是将图像和文本特征的分别处理,降低了神经网络模型的预测准确性。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
李典耕  郭劲宏  郭九川  李小松  李毅  王勇  马星
技术所属: 重庆医科大学绍兴柯桥医学检验技术研究中心
相关技术
一种蝶形气瓶加工工艺的自动化检测系统和方法 一种蝶形气瓶加工工艺的自动化检测系统和方法
一种基于肿瘤的质谱检测方法及系统 一种基于肿瘤的质谱检测方法及系统
CT扫描系统中探测器模组温度控制方法、装置和设备 CT扫描系统中探测器模组温度控制方法、装置和设备
一种污染源监测系统及方法 一种污染源监测系统及方法
用于3He极低温、脉冲强磁场NMR测量的样品杆和测量方法 用于3He极低温、脉冲强磁场NMR测量的样品杆和测量方法
同步回收废旧三元锂电池中锂、铜、钴、镍、锰的方法 同步回收废旧三元锂电池中锂、铜、钴、镍、锰的方法
一种模拟海岸水库营养盐迁移转化的实验装置及其实施方法 一种模拟海岸水库营养盐迁移转化的实验装置及其实施方法
一种心脏起搏器多模式通信系统 一种心脏起搏器多模式通信系统
一种变浇口镶嵌侧抽式超声塑化注射模具 一种变浇口镶嵌侧抽式超声塑化注射模具
细菌分离芯片及分离方法 细菌分离芯片及分离方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利