本技术介绍了一种创新的水下图像增强技术,包括模型训练和图像增强方法,以及相应的设备和存储介质。该技术通过集成水下内容编码器、水下失真编码器、空中内容编码器、合成图像生成器和增强图像生成器,实现水下图像的高效优化。
背景技术
由于水下环境的独特性,水下机器视觉任务在海洋环境中的实际应用受到一定限制。首先,水下环境中的光线衰减、散射和色散等因素,导致水下图像常出现色偏、低对比度和模糊等问题。这种失真使得图像中的目标边界不清晰,细节丢失,从而使得机器视觉算法难以准确地识别目标或提取特征,例如目标检测、跟踪和识别等算法。其次,水下环境中的水流、颗粒物质和生物组织等因素可能在图像中引入噪声和干扰,进一步降低了机器视觉任务的准确性和可靠性。
近年来,大量水下图像增强方法被提出,用于解决水下图像失真问题。这些方法通常可归为三类:基于像素点的方法、基于物理模型的方法和基于深度学习的方法。基于像素点的方法主要通过修改像素值来提升图像的视觉质量,但由于无法捕获更高级别的语义信息,对于复杂场景的细节恢复能力有所限制。基于物理模型的方法则考虑了水下光学传输和散射的物理特性,但当所需模型参数估计不准确时,会影响方法的可靠性,从而间接影响到水下探测技术等的发展。基于深度学习的方法通过学习大量水下图像数据来增强图像,然而,获取大规模带标注的水下数据十分困难且昂贵。此外,由于水下环境的复杂性和多变性,深度学习模型可能表现出较差的泛化能力。然而,这三类方法主要专注于优化人眼视觉感知质量,缺乏针对机器视觉任务特点和需求的有针对性考虑,导致下游机器视觉任务性能的提升受到限制。具体原因分析如下:
数据特征不一致:水下图像增强算法通常依赖于已有的水下数据进行设计。然而,不同水下环境、光照条件和水质中的数据特征存在较大差异。当训练数据的特征与目标任务数据不一致时,增强算法可能无法有效适应目标任务数据的特征,进而无法提升目标任务的性能。
关键信息丢失:在水下图像增强过程中,去噪、图像平滑等操作可能导致某些任务所需的关键信息丢失,从而影响机器视觉任务的准确性。
增强目的不匹配:人眼视觉驱动的增强方法旨在提高图像质量和可见性,例如去噪、增强对比度和颜色校正。然而,机器视觉任务的目的与人眼视觉感知目的不完全一致。如果增强方法仅着眼于图像质量而忽视与任务相关的特征,则增强后的结果可能无法直接为机器视觉任务提供实质性帮助。
随着水下视觉领域的探索日益深入,除了提升水下图像的视觉质量,增强方法对目标检测等机器视觉任务的影响越来越受到关注。有方法将混合合成模型、增强模型和检测感知器被合并到一个循环一致对抗网络中,利用两个循环一致性路径实现未配对的图像在水下和空中域之间的转换。检测感知器以梯度的形式提供反馈信息,以引导增强模型生成面向补丁级别的视觉上令人愉悦或有利于检测的图像。还有方法提出了一个双向约束闭环对抗增强模块,以无监督方式减轻了对配对数据的需求,并保留了更多的信息特征。此外,为了使增强图像更加真实,在训练阶段采用了对比学习的策略。最后,在增强过程中嵌入了一个任务感知反馈模块,将检测器的梯度信息纳入,以指导增强朝着有利于检测的方向发展。这些方法虽然在一定程度上提升了水下图像增强的视觉效果和目标检测能力,但这些方法主要集中在通过视觉质量提升辅助机器视觉任务,忽视了任务需求与图像增强的紧密结合。
因此,提供一种在面对复杂多变的水下环境时,具备强泛化能力以满足多任务的性能需求的方法以及适用于该方法的模型是需要解决的问题。
实现思路