一种基于微调预训练大模型的音视频事件定位方法
2025-02-24 18:34
No.1343652359280271360
技术概要
PDF全文
本技术公开了一种基于微调预训练大模型的音视频事件定位方法,包括:1获取视频数据,并将视频画面帧数据和音频数据分离;2通过预训练大模型的编码层分别对帧数据和音频数据进行特征提取;3通过查询提示词聚合单一模态内的特征,提取事件特征;4通过全局提示词提供下游任务的上下文信息,将音频特征和视频帧特征进行融合;5构建事件定位模块,将得到的特征转换为视频事件分类以及定位结果。本发明通过引入可学习的提示词,将预训练大模型的能力迁移到音视频事件定位任务中,从而在极低的可训练参数量条件下完成音视频事件定位任务。
背景技术
听觉和视觉是人类感知真实世界的重要途经,视频内容中包含听觉模态和视觉模态中的重要事件信息。音视频事件定位任务需要同时处理来自音频模态和视觉模态的信息,目的是分类和定位视频中的事件。近年来,音视频事件定位任务作为视频理解方向的一个基础任务,得到了越来越多的关注。 现有的主流音视频事件定位方法采用了基本相同的策略:先利用两个分别在图像数据集和音频数据集的模型作为视频帧图像特征编码器和音频特征编码器,再对编码好的视频帧特征和音频特征进行处理,得到音视频事件定位结果。这样的方法将视频帧和音频独立地编码成特征,尽管这样的处理策略取得了不错的结果,但也存在不可避免的限制。首先,基于在单一模态数据集上预训练的编码器,融合从原始输入中分别提取得到的视觉和音频特征的方法可以被是为一种后期融合。这些方法缺少在特征提取阶段,对两种模态信息之间做早期交互的能力。其次,在单一模态数据集上预训练的编码器不参与到模型的训练过程,导致提取到的特征可能包含与音视频事件定位无关的信息,从而导致次优的性能表现。 基于transformer的大尺度视觉预训练模型,例如Vision Transformer,能够学习到有效的图像特征表示,具体做法是将图像视为一个小图像块序列,将每个小图像块转换为一维的特征,再利用标准的transformer编码器进行处理。近年来,在音视频数据集上训练transformer模型,并将其运用到音视频处理领域下游任务的方法取得了不错的表现。然而,由于transformer模型的大参数量,从头训练一个transformer模型需要大量的计算资源。为了利用预训练transformer模型的能力,同时避免训练完整模型所需的大量计算开销,前人提出了提示微调这一方法。提示微调方法在模型的训练过程中,将预训练模型的参数冻结,即不更新预训练模型的参数,只训练连续的提示向量。具体来说,提示微调在transformer模型的输入端引入可学习的连续向量,称为提示向量,在训练过程中只更新提示向量的参数。现有的方法中主要关注于增强原模型的少样本学习能力,难以运用在音视频事件定位任务中。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
查正军  傅雪阳  黄隆焯
技术所属: 中国科学技术大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利