本技术属于图像超分辨率重建领域,为解决目前超分辨率重建效果差的问题,提供基于混合专家和稳定扩散的图像超分辨率重建方法及系统。基于混合专家和稳定扩散的图像超分辨率重建方法包括得到多尺度控制条件及空间控制条件;生成加噪特征隐层空间表示;经过多个采样时间步,不断从去噪主干网络的当前采样时间步的输入中减去当前时间步的去噪主干网络预测的噪声,然后将去噪结果作为下一个时间步去噪主干网络的输入,多个采样时间步完成后,得到重建图像的隐层空间表达;将重建图像的隐层空间表达解码至图像像素空间,得到图像超分辨率重建结果,提高了真实清晰的超分辨率重建效果。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
图像超分辨率(Super-Resolution, SR)的目标是从低分辨率(Low-Resolution,LR)图像中恢复出具有更多细节的高分辨率(High-Resolution, HR)图像。这一任务广泛应用于医疗影像分析、卫星遥感图像处理、视频增强、以及安防监控等领域。早期的超分辨率方法主要基于信号处理和统计建模,通常假设图像具有某些先验特性。代表性的方法有插值方法、基于重建的方法以及基于字典学习的方法等。其中,插值方法计算最简单,但容易引入伪影并产生锯齿状边缘,无法恢复高频细节;基于重建的方法能够在一定程度上恢复细节,但对参数的设置敏感,且难以有效捕获复杂的纹理信息;而基于字典学习的方法特征表达能力有限,难以处理大规模复杂数据。
为了解决传统图像超分辨率重建方法所存在的局限性,近年来基于深度学习的超分辨率网络取得了显著进展。早期的超分辨率网络模型(例如:SRCNN,VDSR,RCAN等)通过端到端训练,利用LR和高分辨率真实图像(Ground-Truth, GT)实现超分辨率。但由于这类模型通常假设一个已知的退化算子,并仅使用像素级损失进行优化,因而难以准确模拟真实世界的图像退化过程且重建结果过于平滑。随着生成对抗网络(Generative AdversarialNetwork, GAN)在图像生成领域的广泛应用,其在提升超分辨率图像清晰度和真实感方面表现出色。基于GAN 的超分辨率模型(例如:SRGAN,ESRGAN,Real-ESRGAN 等)通常将端到端网络作为生成器,并设计判别器来进行对抗训练。然而由于 GAN 网络的特性,重建结果中常伴随不真实的纹理,影响视觉体验。近来,随着大规模文本到图像扩散模型的发展,这类模型通过在海量数据集上的预训练,积累了丰富的先验知识,为超分辨率任务提供了一种潜在的高效解决方案。许多工作(例如:DiffBIR,PASD,SeeSR,SUPIR等)通过训练控制网络(Controlnet),将低分辨率图像作为条件控制,引导扩散模型逐步从噪声生成高分辨率图像(HR)。尽管扩散模型在视觉质量上取得了不错的进展,但没有充分考虑不同退化类型对图像重建的影响,同时提示条件主要依赖文本输入,忽略了图像本身所蕴含的丰富提示信息。
实现思路