混合专家模型分布式训练方法、装置、设备、介质及程序
2025-02-26 17:24
No.1344359472432422912
技术概要
PDF全文
本技术实施例公开了一种混合专家模型分布式训练方法、装置、设备、介质及程序,方法包括:确定用于对混合专家模型进行分布式训练的多个分布式训练策略;计算各所述分布式训练策略对所述混合专家模型进行分布式训练时占用的存储资源;根据各所述分布式训练策略对所述混合专家模型进行分布式训练时占用的存储资源,对各所述分布式训练策略进行筛选,得到用于对所述混合专家模型进行分布式训练的目标分布式训练策略。本发明实施例的技术方案能够提高混合专家模型的分布式训练性能,从而在分布式训练混合专家模型时提高硬件资源利用率和模型的执行效率。
背景技术
混合专家模型(Mixture of Expert,MoE)是一种稀疏神经网络,可以在不增加模型计算量基础上极大增加模型参数量,提升模型的能力。同时,由于模型的稀疏性,通常每个token(模型所使用的输入数据的最小单元)选择1-2个专家(expert)进行处理,不同的数据由不同的专家来处理。 目前,在现有的MoE训练框架中,会涉及6D并行训练的分布式训练方式。所谓6D并行训练,即同时采用EP(Expert Parallel,专家并行)、DP(Data Parallel,数据并行)、PP(Pipeline Parallel,流水并行)、SP(Sequence Parallel,序列并行)、CP(ContextParallel,上下文并行)以及TP(Tensor Parallel,张量并行)。 发明人在实现本发明的过程中,发现现有技术存在如下缺陷:由于6D并行复杂度高,并行group size(并行组大小)通常由人工设置,一旦设置不当将导致通信占比高,严重影响芯片算力利用率。因此,目前在分布式训练混合专家模型的过程中,缺乏一种有效的混合专家分布式并行训练策略的筛选方式。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
郭敬明刘彦孟玉
技术所属: 上海燧原智能科技有限公司.
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利