本技术涉及一种基于算法与硬件协同的神经网络加速方法、装置及加速器,该方法包括:基于稀疏性阈值,处理量化张量的值级索引,以生成层元数据,并动态调整稀疏性模式;根据符号转换和位查找表识别非零比特的位置和数量,并将处理后的数据放入位分组中,以消除无贡献位;处理位分组,并将从层元数据中提取的自适应索引机制的相关输入和张量分配到位弹性计算单元,且根据非零比特位数执行移位加法计算;基于列式计算阵列,指令所有阵列在预设周期内完成乘法运算,并存储部分积以及对应于各自位宽的数据流。该发明能够使加速器控制器在计算过程中高效跳过这些零位,同时,提升了位级加速器的性能和适用性。
背景技术
传统的位级加速器可分为位交叉、位并行和位串行三类,大多数关注值内的位级稀疏性,部分位级加速器提出部分采用的硬件高效近似策略,这种策略会导致推理精度的相应下降。为了平衡张量精度与模型准确性,越来越多的加速器探索并应用位级稀疏性,以实现显著的能效提升。尽管利用位稀疏性进行加速,但零位的随机分布使得加速器控制器在计算过程中无法高效跳过这些零位,从而影响了硬件的高效利用。这一挑战在细粒度并行任务中尤为显著,其中这种不平衡可能限制了位级加速器的性能和更广泛的适用性,因此,需要对其进行改进。
实现思路