深度学习辅助惯性测量单元视频稳定技术
2025-02-08 10:31
No.1337742771024568320
技术概要
PDF全文
本技术介绍了一种结合惯性测量单元(IMU)数据和深度学习算法的视频稳定技术。该技术应用于图像处理领域,其核心在于深度神经网络模型的训练,该过程包括收集原始图像序列以构建t时刻的数据集,并利用这些数据进行模型训练,以实现视频内容的稳定输出。
背景技术
近年来,车载摄像机和随身携带的视频记录仪在公共服务、行政执法、公安、交警等领域应用越来越广泛。在这些场景由于摄像机不是固定安装,因此都会遇到摄像机随机抖动的问题。继而会造成采集的图像产生随机的抖动。观看这种视频会造成明显的晕眩感,用户体验非常差。 视频图像的运动主要有两种,一种是摄像机本身的载体转向造成的运动;一种是载体随机的抖动(如车辆发动机造成的振动,手臂的轻微颤动等);前者是正常的运动,不需要抵消。后者是真正需要补偿的运动。至于如何区分出视频中的两者运动已有很多研究,本发明不涉及这方面的问题,只解决如何更好补偿第二种随机抖动的问题。 补偿随机抖动,目前主要有两种方式:1)在摄像机上安装惯性测量单元(inertialmeasurement unit)IMU,实时采集摄像机的角速度和加速度数据,然后根据摄像机的内参矩阵等参数,估计出图像中的静止目标在前后两帧之间的偏移量。这个偏移量一般是水平(x方向)、垂直(y方向)方向上位移的像素数以及垂直画面方向(z方向)的旋转角度。然后根据这些估计的参数,变换出补偿之后的图像。2)直接根据图像内容对图像进行补偿。找到画面中的特征点,然后在前后两帧图像之间匹配这些特征点,获取一定数量的特征点对。然后根据特征点对估计出两帧之间的变换(一般采用仿射变换或者透视变换)参数。然后根据这些估计的参数,变换出补偿之后的图像。 这两种方式都能在一定程度上起到图像稳定的效果,但也有各自的缺点。对于第一种方式,由于IMU自身的误差、生产安装过程的误差等因素,很难精确的估计出准确的角速度和加速度数据,因此不能做到很准确的图像补偿,影响了最终图像稳定的效果。对于第二种方式,理论上如果特征点对匹配的很准确,则能非常准确的估计出补偿参数,达到最优的补偿效果,但实际应用中会有各种限制,无法做到很准确的特征点匹配。比如:在画面本身比较平坦时(比如对着一面白墙),很难找到足够数量的特征点;在画面抖动幅度较大时,正确特征点对的距离太大,用图像处理的方法进行特征点匹配会有很大问题,搜索半径必须设置的很大,会带来运算量平方级的增长,在一些廉价的边缘设备上很难提供足够的算力计算。另外搜索半径的扩大会明显增加误匹配的概率,从而影响正确变换参数的估计。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
尼秀明  俞能海  何佳  聂勇  张卡  吴峰
技术所属: 安徽清新互联信息科技有限公司  中国科学技术大学
相关技术
一种双频双模孔径共享共形超宽带天线及其应用 一种双频双模孔径共享共形超宽带天线及其应用
一种纤维素基嵌入式电路的制备方法 一种纤维素基嵌入式电路的制备方法
一种基于加载电容贴片的双层基片集成波导谐振器 一种基于加载电容贴片的双层基片集成波导谐振器
基于多模通信的配用电网络校时方法、装置、系统及芯片 基于多模通信的配用电网络校时方法、装置、系统及芯片
一种非接触式IC载板表面处理系统及方法 一种非接触式IC载板表面处理系统及方法
一种气溶胶打印制备高稳定界面电路的方法 一种气溶胶打印制备高稳定界面电路的方法
一种支持群智感知的端边云紧凑视频编码方法及系统 一种支持群智感知的端边云紧凑视频编码方法及系统
一种高阶双频带的带通频率选择表面 一种高阶双频带的带通频率选择表面
一种方便调换的变频器及其使用方法 一种方便调换的变频器及其使用方法
血压连续测量预测方法、装置、设备及存储介质 血压连续测量预测方法、装置、设备及存储介质
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利