一种基于VQ‑GCN的医学多模态隐空间对齐融合方法及系统,它属于医学多模态融合技术领域。本技术解决了传统融合方法难以在同一特征空间内保持语义一致性的问题。本发明方法具体为:步骤S1、分别为每个模态数据分别构建特征提取器;步骤S2、并将各个模态数据分别输入对应的特征提取器,获得各个模态数据的模态特征;步骤S3、对各个模态数据的模态特征进行隐空间对齐,分别获得各个模态的最终语义编码特征以及全部模态的最终共有语义特征;步骤S4、对各个模态的最终语义编码特征和全部模态的最终共有语义特征进行分层跨模态注意力特征融合,获得医学多模态特征融合结果。本发明方法可以应用于医学多模态隐空间对齐融合。
背景技术
随着医学影像技术的不断发展,越来越多的临床诊断和治疗依赖于多种模态的医学数据,如影像数据、病理数据和检查报告等。这些数据为临床医生提供了更加全面的患者信息,从而有助于提高诊断的准确性和治疗方案的有效性。然而,不同模态的医学数据通常具有不同的分辨率、尺度和特征表达方式,导致了信息融合与综合分析的复杂性。目前,多模态数据融合的技术主要包括早期融合、晚期融合及联合对齐等方法。早期融合将不同模态的数据直接进行特征级别的合并,而晚期融合则在各自独立处理后进行决策级别的融合。虽然这些方法在一定程度上提高了数据的利用效率,但由于各模态数据之间存在显著的语义差异和分布不一致性,传统的融合方法难以在同一特征空间内保持语义的一致性,从而导致融合过程中的信息损失和诊断精度下降。因此,如何保证多模态数据在同一特征空间内保持语义的一致性,仍然是一项挑战。
实现思路