本申请公开了一种融合视觉搜索和多模态大模型的光伏发电站火灾预警方法,涉及火灾预警领域,该方法利用基于多模态大模型搭建的烟雾目标识别模型对待监测图像帧进行初步识别定位得到烟雾目标定位框、置信度以及烟雾目标搜索提示热图,在烟雾目标定位框的置信度未达到置信度阈值时,进一步利用视觉搜索策略基于烟雾目标搜索提示热图进行主动搜索,引入主动搜索机制、视觉工作记忆以及动态调整策略,通过模拟人类对烟雾目标的识别机制,能够充分利用烟雾目标识别模型的世界知识和上下文理解能力,使得该方法能够在无需训练的环境下直接进行推理,且对烟雾目标有较高的识别定位准确率,有效实现光伏发电站火灾早期预警,降低实现难度。
背景技术
光伏发电是新能源发电领域中非常具有前景的重要分支,受到国家的高度关注和重视。但是光伏发电站在长时间运行后,光伏组件容易出现材料老化、断栅等内部问题,另外大型的光伏发电站往往建造在野外,因此光伏组件也容易受到高温、沙尘暴等外界环境影响。光伏组件在内外影响下容易出现过热问题,导致发生火灾,威胁设备在新型电力系统中的安全稳定运行。
烟雾通常作为火灾早期的特征,因此对烟雾的准确识别能够辅助光伏发电站的运维人员开展设备消防安全工作,最大程度的减少火灾带来的影响并保障运维人员的生命安全。随着计算机视觉技术的发展,利用视频实现火灾烟雾预警监控的做法已经逐渐在许多光伏发电站中获得了应用。但是烟雾本身就不容易在视频中被检测到,再加上光伏发电站工作环境复杂,因此误报和漏报的现象比较严重,预警准确度不高。
实现思路