一种基于FPGA的神经网络存算资源优化分配方法及系统
2025-02-24 12:16
No.1343557306998333440
技术概要
PDF全文
本技术提出了一种基于FPGA的神经网络存算资源优化分配方法及系统,涉及人工智能技术领域,包括:分析并行因子与神经网络各层的延迟、并行因子与FPGA的计算资源消耗,建立层间计算资源关系模型;基于层间计算资源关系模型,通过计算资源分配方法,得到分配后的神经网络各层的最佳并行因子;分析神经网络层内各模块的延迟与并行度、内存资源消耗,建立层内内存资源关系模型;基于层间计算资源关系模型及层内内存资源关系模型和分配后的神经网络各层的最佳并行因子,实现层内内存资源与延迟的平衡优化。本发明通过合理分配各层并行度,在最小资源占用的前提下减少数据流阻塞,以各层内模块延迟一致与各层间延迟一致为目标,实现总延迟最小的效果。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。 卷积神经网络正在被应用到各行各业中,图像分类,目标检测与跟踪,图像分割,姿态估计等绝大多数算法都需要将卷积神经网络作为特征提取器,卷积神经网络的特性使之可以获得到更深层次的特征,进而使算法达到更高的准确性,但卷积神经网络也带来了高额的算力与存储需求,进而带来了更高的能耗与资源占用。 在边缘场景下,设备的算力、存储和能耗都有限制,但同时边缘场景下对延迟也非常敏感,因此,由于卷积神经网络的高额算力与存储需求,极大的限制了卷积神经网络在边缘场景下的应用。 为了优化卷积神经网络在边缘场景下的性能表现,业内广泛使用FPGA(FieldProgrammable Gate Array,现场可编程门阵列)对神经网络进行加速,通过一系列的优化技术降低延迟与资源占用、提高吞吐量。 现有的使用FPGA对神经网络进行加速的研究,主要关注于以下几方面:网络轻量化、计算架构优化、提高计算并行度、批处理等。但FPGA的资源是有限的,各层的并行度与整体延迟、资源使用量有着极强的相关性,所以分配到神经网络各层的资源是否合理对最终的加速器的延迟与资源占用总量都会有非常大的影响。 但目前对于计算资源与存储资源这两种资源的在各层的分配方式却鲜有研究,无法解决FPGA分配到神经网络各层的资源是否合理的问题。
实现思路
阅读余下40%
技术概要为部分技术内容,查看PDF获取完整资料
该技术已申请专利,如用于商业用途,请联系技术所有人!
技术研发人员:
刘珂  王明途  展彦彤  孙建德  种法超
技术所属: 山东师范大学
相关技术
一种服务开发方法、装置、设备及存储介质 一种服务开发方法、装置、设备及存储介质
一种高精度双层优化方法的神经网络搜索架构构建方法 一种高精度双层优化方法的神经网络搜索架构构建方法
跨总线域的设备对宿主机空间DMA访问方法及相关设备 跨总线域的设备对宿主机空间DMA访问方法及相关设备
一种客户信息定期维护方法及系统 一种客户信息定期维护方法及系统
代码发布方法、装置、计算机设备和可读存储介质 代码发布方法、装置、计算机设备和可读存储介质
一种基于统一管理平台的子应用数据获取方法及装置 一种基于统一管理平台的子应用数据获取方法及装置
利用深度学习的BIM模型错误自动检测系统 利用深度学习的BIM模型错误自动检测系统
一种基于智能反射面的室内T型走廊场景路径损耗的分析方法 一种基于智能反射面的室内T型走廊场景路径损耗的分析方法
模型评估任务处理方法及装置 模型评估任务处理方法及装置
基于大数据的异常信号智能识别方法 基于大数据的异常信号智能识别方法
技术分类
电信、广播电视和卫星传输服务 电信、广播电视和卫星传输服务
互联网软件服务 互联网软件服务
集成电路设计 集成电路设计
信息集成数字服务 信息集成数字服务
电气机械制造 电气机械制造
计算机、通信、电子设备制造 计算机、通信、电子设备制造
医药制造、生物基材料 医药制造、生物基材料
石油煤矿化学用品加工 石油煤矿化学用品加工
化学原料制品加工 化学原料制品加工
非金属矿物加工 非金属矿物加工
金属制品加工 金属制品加工
专用设备制造 专用设备制造
通用设备制造 通用设备制造
通用零部件制造 通用零部件制造
汽车制造业 汽车制造业
铁路、船舶、航天设备制造 铁路、船舶、航天设备制造
电力、热力生产和供应 电力、热力生产和供应
燃气生产和供应 燃气生产和供应
水生产和供应 水生产和供应
房屋建筑、土木工程 房屋建筑、土木工程
交通运输、仓储和邮政 交通运输、仓储和邮政
农、林、牧、渔业 农、林、牧、渔业
采矿业 采矿业
农副、食品加工 农副、食品加工
烟草、酒水加工 烟草、酒水加工
纺织皮具居家制品 纺织皮具居家制品
文教体娱加工 文教体娱加工
苏ICP备18062519号-5 © 2018-2025 【123技术园】 版权所有,并保留所有权利