本技术公开一种基于SwinUnet的改进3D医学图像分割方法,基于SCConv3D和AxialAttention特征融合的改进3D医学图像分割方法,解决在医学分割领域VisionTransformer模块和卷积模块结合但提取的特征效果不佳的问题。解决下采样过程中,特征提取效果差,不适配的问题,提升在图像分割的训练速度和准确率。
背景技术
在过去中,3D卷积神经网络(CNN)在3D医学图像自动分割中占据了主导地位,并取得了显著成效。然而,传统卷积为了控制网络参数数量,通常将3D卷积核的尺寸大小不超过7×7×7,这使得CNN卷积在捕获长距离依赖信息时表现出一定的局限性。相比之下,视觉Transformer(ViT)在学习图像中的长距离依赖信息方面效果显著,但其参数量较大。更为不利的是,在数据量不足的情况下,ViT难以有效捕捉局部依赖信息,而这种能力在早期层次对提升模型性能至关重要,尤其是在图像分割任务中。
将CNN与ViT特征融合的方式能够充分发挥两者的优势:CNN擅长捕捉局部特征和空间相关性,而ViT则在学习长距离依赖信息方面表现优异。这种结合能够在医学图像分割中同时捕捉局部和全局特征,从而提高模型的分割性能。此外,ViT的自注意力机制能够增强模型的全局上下文理解。然而,结合两者也带来了一些缺点,例如计算复杂度和参数量显著增加,导致训练和推理时对硬件资源的需求更高。此外,ViT对大规模数据的需求仍然存在,当数据不足时,模型可能难以充分发挥其优势。
卷积神经网络(CNN)尽管在各种计算机视觉任务中表现出卓越的性能,但其高计算资源需求是一个显著的瓶颈,部分原因是卷积层在特征提取过程中存在大量的空间和通道冗余。为了解决这一问题,近年来的研究工作一方面集中于压缩已经训练良好的大型模型,另一方面则致力于设计更加轻量化的模型。在此基础上,采用一种新型高效卷积模块——SCConv,其核心目的是通过压缩特征之间的空间和通道冗余来减少计算量并促进代表性特征的学习。SCConv模块由两个关键单元组成:空间重构单元(SRU)和通道重构单元(CRU),分别采用分离重构方法抑制空间冗余和分裂变换融合方法消除通道冗余。值得注意的是,SCConv具备即插即用的特性,可以直接替换各种卷积神经网络中的标准卷积层。本方法中,嵌入SCConv模块的模型不仅有效减少了冗余特征,显著降低了计算复杂度和成本,同时在多种视觉任务中取得了更优异的性能。但是SCConv模块一般用在2D图像的处理上,故在原始SCConv基础上改进使得到的SCConv3D模块能够更好的运用在针对3D医学影像的模型中。
实现思路