本技术提供一种图像雨滴去除方法、装置、设备及可读存储介质,图像雨滴去除方法包括:获取摄像头采集的有雨滴遮挡的图像,并将所述有雨滴遮挡的图像输入去雨滴模型的编码器;编码器基于所述有雨滴遮挡的图像得到特征图,并将特征图输入去雨滴模型的解码器;去雨滴模型的解码器基于所述特征图,得到雨滴去除后的目标图像。通过将本发明的去雨滴模型嵌入至算力有限的车载芯片上使用,可以在低算力消耗的前提下,实现图像去雨结果的高精度性和高实时性,从而有利于驾驶员或自动驾驶控制单元使用去雨后的视觉信息,进行更为准确地驾驶行为判断与驾驶行为操作,减少智能驾驶中的行车或者泊车过程的安全隐患,提升驾驶的安全系数和智能化程度。
背景技术
随着智能辅助驾驶的普及与深入,越来越多的智能辅助驾驶技术被人们接受和使用,如倒车影像、360环视影像,自适应定速巡航等,在此类技术带给受众便利的同时,其安全性和潜在风险也受到越来越多的关注。其中,后视摄像头作为智能辅助驾驶最关键的硬件之一,经常会因为雨天环境下的雨滴或地面脏污泥水飞溅导致汽车倒车影像出现模糊、遮挡等现象,增加了行车或泊车过程中的安全隐患。
针对此类问题,目前主流智能驾驶辅助软件供应商所提供的方案依赖于加强算法鲁棒性,如障碍物检测算法、车道线检测算法等在此类场景下的计算精度,或者利用特殊的机械结构去减少雨滴对着摄像头的影像,而对倒车影像去雨滴、去脏污等基于软件的增强方式却鲜有被提出或研究。
此外,大部分学者就图像去雨问题,提出了一些图像增强算法模型的技术方案。虽然这些方案在图像去雨领域上取得了一定成果,但同时也存在一些共性问题,一,大多数算法模型采用矫正畸变后的摄像头图像作为数据集进行训练,并且数据集样本中雨滴多为人工合成雨滴,这些图像相较于实车后视摄像头所采集的数据存在较大的数据分布差异,导致训练后模型在车载后视广角摄像头上的应用存在局限性和低准确性;二,多数模型都采用较为复杂的结构,使得模型运行的实时性受到影响,导致其在算力有限的车载芯片上的应用受限。
实现思路