基于算法与硬件协同的神经网络加速方法、装置及加速器
2025-02-24 10:26
No.1343529437253345280
技术概要
PDF全文
本技术涉及一种基于算法与硬件协同的神经网络加速方法、装置及加速器,该方法包括:基于稀疏性阈值,处理量化张量的值级索引,以生成层元数据,并动态调整稀疏性模式;根据符号转换和位查找表识别非零比特的位置和数量,并将处理后的数据放入位分组中,以消除无贡献位;处理位分组,并将从层元数据中提取的自适应索引机制的相关输入和张量分配到位弹性计算单元,且根据非零比特位数执行移位加法计算;基于列式计算阵列,指令所有阵列在预设周期内完成乘法运算,并存储部分积以及对应于各自位宽的数据流。该发明能够使加速器控制器在计算过程中高效跳过这些零位,同时,提升了位级加速器的性能和适用性。
背景技术
传统的位级加速器可分为位交叉、位并行和位串行三类,大多数关注值内的位级稀疏性,部分位级加速器提出部分采用的硬件高效近似策略,这种策略会导致推理精度的相应下降。为了平衡张量精度与模型准确性,越来越多的加速器探索并应用位级稀疏性,以实现显著的能效提升。尽管利用位稀疏性进行加速,但零位的随机分布使得加速器控制器在计算过程中无法高效跳过这些零位,从而影响了硬件的高效利用。这一挑战在细粒度并行任务中尤为显著,其中这种不平衡可能限制了位级加速器的性能和更广泛的适用性,因此,需要对其进行改进。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
李月婷
技术所属: 杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利