本技术公开了基于分割计算的多光谱小目标推理加速方法及系统,包括如下步骤:构建多光谱小目标识别模型,由切割点为界限对多光谱小目标识别模型中的计算任务进行切割计算;加载配置,获取多光谱小目标识别模型的结构;收集客户端信息、网络环境以评估客户端的计算能力和服务端的计算能力;根据模型结构和网络情况查询近似分割卸载点并缓存,近似分割卸载点记为切割点;根据模型结构和网络情况计算最优分割卸载点记为切割点;根据切割点,客户端和服务器分别进行计算推理;服务端聚合计算推理结果,并进行特征融合和目标识别;目标识别结果与之前保存结果对比,根据两者之间的相似度更新切割点;本发明的有益效果为:加速模型推理。
背景技术
多光谱小目标识别是通过结合可见光(RGB)图像和红外(IR)图像,融合两个模态的特征实现对小目标的有效识别。多光谱小目标识别模型融合了RGB模态和IR模态,因此能够在多种复杂环境和天气下仍然保持较高的精度。
但随着多光谱小目标识别精度越来越高,模型参数和模型需要的计算量也越来越大。移动设备推理计算能力往往有限,这导致大多数多光谱小目标识别模型的推理延迟较大,严重影响用户体验。个别研究专注于模型的蒸馏和轻量化,但是这样往往需要更多的训练成本,需要训练多个模型,甚至需要使用模型搜索以适配硬件获得最佳的性能。现在大多数多光谱小目标识别的研究还在围绕使用大功耗的GPU显卡计算,较少的方法能够使用低成本加速这些已有的多光谱小目标识别模型。另一种解决方案是将计算卸载到云服务器上,但由于模型输入越来越大,特别是图像和视频,这种方法会消耗大量的带宽和能量,并导致延迟。此外,尽管移动设备计算能力有限,但在整个计算任务被卸载时,它们仍然具备未被使用的计算能力,并且利用这些能力可以减少服务器上的负载。
随着端云协同的研究越来越多,近几年出现了分割计算这一方法,分割计算会根据计算图对原来模型进行切割,部分在客户端运行,剩下的在服务端运行,过去大多数模型都是串行计算,单独按照层分割,这有利于模型分割,但随着模型越来越复杂,模型的计算图变得越来越复杂,单独按照层分割已经变得越来越难,优化的结果也越来越差。
因此本发明对上述多光谱小目标识别在资源受限设备的推理优化,提出一种资源受限设备下基于分割计算的多光谱小目标推理加速方法;该方法利用多光谱小目标识别模型的特点和分割计算共同加速模型推理,该方法能够根据客户端和服务端性能动态寻找最优的并行加速推理节点,使多光谱小目标识别模型能够能快的推理。
实现思路