本技术方案专注于医学图像和自然语言处理的交叉领域,提出了一种创新的多阶段分类方法,专门针对CIP(社区获得性肺炎)的多模态数据。该方法首先利用经过离线训练的第一阶段分类模型对患者的CT影像进行分析,以实现初步分类。
背景技术
免疫检查点抑制剂相关肺炎(Checkpoint-Inhibitor Pneumonitis,CIP)是由免疫检查点抑制剂(ICIs)治疗中引起的致命性肺损伤,其临床、影像、病理表现各异。目前临床中CIP的发病机制尚不清楚,总发病率为3%~5%,而在现实世界中CIP的发病率甚至可达到19%,病死率可高达12.8%~22.7%。经过与合作医院专家的讨论得知,CIP的诊疗过程会分为三个阶段,分别是初诊阶段、临床诊断阶段和预后诊疗阶段。在CIP肺炎初诊阶段,CT影像是医生判断患者是否有患CIP肺炎可能的重要依据。然而在CIP临床诊断阶段,由于CIP影像和临床表现具有非特异性,需要将临床症状、影像学表现、检查和用药结合进行综合分析,复杂的评估工作较多依赖于医生的临床经验和专业能力,主观性大且误诊率和漏诊率高。此外,除影像学特征外,电子病历和生理检验报告中包含了大量如患者肺部感染、肿瘤进展(癌性淋巴管病、肺肿瘤栓塞)、ICIs用药史、体征与血氧饱和度、肺功能检查等与诊断结果密切相关的信息。在CIP预后诊疗阶段,由于CIP肺炎患者的治疗用药与其临床表现密切相关,因此医生会根据患者预后康复诊疗效果进行评估来掌握病情走势,并且根据评估结果来调整治疗与用药方案。
目前,利用深度学习的方法CT影像数据或病历文本数据进行分类的方法应用十分广泛,例如公开号为CN117668760A《一种基于深度学习的多模态免疫抑制剂相关肺炎分类方法》,将CT影像和电子病历输入到多模态CIP肺炎分类网络进行分类预测,获得分类结果和概率,又例如公开号为CN118335341A《基于CIP肺炎病历文本多特征融合的相似病历推荐方法》,联合使用了CIP肺炎电子病历文本中主诉、现病史、既往史三个字段进行分析,采用基于邻近图的近似最近邻查询方法在病历文本特征库中检索获得待检索向量的相似病历。但是,目前采用的目标分类网络进行分类预测的方法多见于应用于单次的CT影像数据或病历文本数据,还未有对于CIP肺炎各个阶段的CT影像数据和病历文本数据分别进行分类预测的方法。因此,需对现有技术进行改进。
实现思路