主动学习样本筛选技术 [创新]
2025-02-14 10:10
No.1339901575426220032
技术概要
PDF全文
本创新技术涉及主动学习样本筛选方法,涵盖使用预训练模型对数据进行特征嵌入,并借助微型神经网络迭代选择样本数据;基于迭代过程优化样本选择。
背景技术
在实现大规模数据分析服务过程中需要具备高效的定期模型更新条件,以适应可能变化的数据分布。对于相应的大规模样本,通过人工标注所有可用于任务模型更新的样本工作量过于庞大,导致其无法实现。为解决这一问题,现有技术中提出了采用主动学习技术来迭代选择信息丰富程度高的样本子集进行标注的方式实现对学习样本的标示。然而,通过在实际视频分析系统中应用相应的主动学习的经验过程中,发现了一个之前被忽视的时间成本瓶颈问题,即数据选择的时间成本过高问题。 也就是说,现有的主动学习方法通过估计每次迭代中所有未标注样本的信息丰富程度(例如,其输出置信度等)来选择数据。在相应的分析系统中,这个数据选择过程可能占到整个模型更新的大量的时间成本,实验发现相应的时间成本占到整个模型更新的42.8%的时间成本,相应的整个模型更新的总计时间成本包括数据选择、标注和模型更新的时间。 因此,现有的主动学习的数据选择方法存在着占用时间成本过高的问题,进而导致相应的整个模型更新的效率无法得到保证。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
张兰  宋淼荟  刘奕君  郑桂东  文俊杰  李金龙
技术所属: 中国科学技术大学  招商银行股份有限公司
相关技术
变压器呼吸器变色检测方法、装置、系统及电子设备 变压器呼吸器变色检测方法、装置、系统及电子设备
基于机器视觉和AR的虫害检测与管理系统 基于机器视觉和AR的虫害检测与管理系统
一种电路板的故障快速检测方法、系统及存储介质 一种电路板的故障快速检测方法、系统及存储介质
遥感影像检测方法、装置、电子设备及存储介质 遥感影像检测方法、装置、电子设备及存储介质
一种基于在网计算的流表压缩方法 一种基于在网计算的流表压缩方法
一种基于分段信道估计的通感一体化系统干扰消除方法 一种基于分段信道估计的通感一体化系统干扰消除方法
一种基于上半身姿态的驾驶员情绪状态检测方法及系统 一种基于上半身姿态的驾驶员情绪状态检测方法及系统
一种引入RBU的轻量化皮革表面缺陷显著目标检测方法 一种引入RBU的轻量化皮革表面缺陷显著目标检测方法
一种基于金字塔的SAR图像相干斑抑制方法 一种基于金字塔的SAR图像相干斑抑制方法
一种考虑多层级特征的多类别点云异常检测方法及系统 一种考虑多层级特征的多类别点云异常检测方法及系统
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利