本技术提供了一种二维三维图像配准方法、系统、设备、介质和程序产品,涉及智能医疗领域。方法包括:获取受试者带有配准小球的术中正位、侧位二维影像;选取二维影像中的特征点并得到特征点在二维影像的二维坐标;基于二维坐标得到特征点在世界坐标系的三维坐标;获取术前三维模型中特征点的三维坐标;配对三维模型中特征点与世界坐标系中特征点得到三维模型在C臂机下的粗略位置关系;以粗略位置关系为基数,自动提取二维影像和术前三维模型中的特征点进行迭代优化,计算术前三维模型在C臂机下的精确位置,完成配准。本申请通过先粗配准给到误差较小的初始位姿,再基于该初始位姿作为初始迭代值进行精准配准的方式,简化操作、降低计算资源。
背景技术
二维(2-dimention,2D)图像与三维(3-dimension,3D)模型的配准是指将包含目标物体的二维图像与目标物体的三维模型进行对齐和匹配的过程,这个过程广泛应用于医学影像、计算机视觉和计算机图形学等领域。
传统脊柱手术操作中,术前依据患者患处的图像构建能够反映出患者患处真实情况的三维模型,该三维模型用于后续的手术规划和术中引导;但术中呈现的患处影像仍然是二维影像,难以直观地反应患者患处的三维结构,所以需要将术中二维影像与术前的三维模型进行配准,以方便进行术中引导。
在具体进行二维图像和三维模型配准操作时,需要手动在二维影像和三维模型中标记出目标物体的特征线条,进而通过匹配二维特征线条和三维特征线条实现配准,但是三维模型中的某些特征线条难以通过手动绘制,进而导致二维图像和三维模型无法实现进准配准。基于此,专利申请二维图像与三维模型的配准方法及装置202311190386.2提出一种无需手动绘制特征线,通过二维图像轮廓与光线投射的方法,自动提取出目标物体三维模型上的三维特征线并用于后续配准,相较于手动绘制的方式,能够显著提高三维特征线提取的精确度,进而实现了二维图像与三维模型的精准配准。但是该方法仍然需要通过特征线进行匹配,对于不规则的骨骼来说,尤其是在面对各类型已发生病变的骨骼来说,反复投影和计算相似性测度,会导致计算资源过多而不便于网络模型进行参数的迭代优化;此外,目前的配准算法采取的迭代优化方式,容易陷入局部最优解,从而导致结果出错。
实现思路