本技术方案聚焦于计算机技术,特别提出了一种视频自动着色的新方法、相关装置、设备以及存储介质。该方案通过接收视频端发送的着色需求,并利用连续帧技术处理待着色视频,确保在未存储与着色需求视频匹配的情况下,也能实现高效准确的视频着色效果。
背景技术
视频着色是给视频的每一帧进行着色,与图片着色相比,其不仅需要考虑空间一致性,还需要面临时间上的一致性挑战。目前,视频着色算法分为三种,分别是:全自动视频着色算法、基于参考帧的视频着色算法、基于涂鸦的视频着色算法。其中,基于参考帧的视频着色算法使用参考帧为灰度帧着色,主要分为两类,一类是使用不相关的示例图像作为参考帧为灰度帧着色,目标是合理地着色并保持时间一致性;另一类则使用高度相关的示例图像作为参考帧为灰度帧着色,目标是忠实地传播参考帧的颜色到后续的灰度帧,并保持时间一致性。
在商业上对黑白电影进行着色时,为追求满意的视觉效果,一般会将电影分成很多视频片段,为每个片段提供一个参考帧进行着色。本文注意到对当前片段进行着色时,相邻片段的参考帧由于距离当前片段较近,其提供的参考信息也可以进行利用。这样,相对于基于单帧参考帧的算法使用的参考帧的总数量只多1帧,但对每一帧进行着色时都能考虑到前后参考帧提供的参考信息,从而实现更好的着色效果,并且提高时序一致性。由于现有大多数基于参考的视频着色算法都是利用单帧参考帧进行视频着色,不能很好地利用双帧参考帧,即使有可以利用多帧参考帧的视频着色算法,其着色效果也并不好。
实现思路