本技术公开了一种基于多模态的鱼类健康预警系统,该系统包括图像和音频数据采集模块、鱼类健康预警算法控制模块、前后端模块、硬件单元和EMQX云服务模块。该系统通过多模态算法模型对同一时间点下的水下摄像头拍到的视频图像和水下麦克风采集到的音频数据进行实时检测,根据鱼群游动的活跃度和声音的频率来进行分类,分为健康、疾病两种状态进行预警。本发明更稳定,可以节省大量的人力、物力,操作方便,克服了单一方法的局限性,通过算法根据每个鱼池不同的视频和音频来检测鱼群的健康,从而达到鱼类健康预警的效果,具有极高的应用价值。
背景技术
传统的鱼类健康监测方法主要依赖于人工观察和定期抽样检查。这些方法不仅耗时耗力,还存在以下局限性:人工观察是通过观察鱼类的行为、外观和泳姿来判断其健康状况。此方法存在主观性强、覆盖面有限等问题。通过定期抽样对鱼类进行病理、生理和生化指标的检测。尽管这种方法较为准确,但操作复杂、成本高昂、对鱼类造成一定的应激反应,且无法实现实时监测。目前,大多鱼类健康预警算法主要利用单一的视觉或听觉信息,这在一定程度上限制了检测的准确性和全面性。多模态融合的联合视听学习是人类感知的核心机制。通过对视觉与听觉信息的综合处理分析,实现对鱼群健康状态的准确检测。因此,如何提供一种可以24小时准确、实时的检测鱼群健康的系统和方法,实现实时获取鱼群状态信息,成为亟需解决的问题。
实现思路