本申请公开了一种多模态大模型融合多光谱图像的风电机舱火灾预警方法,涉及火灾预警领域,该方法利用可见光图像和红外图像进行图像融合得到风电机舱在不同工作状态下的样本融合图像,样本融合图像融合了不同光谱模态下的图像特征进行优势互补,能够更好的表征风电机舱在当前工作状态下的图像特征,然后对样本融合图像进行图像标注和文字描述构建火灾常识图文数据集,并对预训练的VILA多模态大模型进行参数调整,使得搭建得到的风电机舱火灾预警模型能够理解风电机舱火灾预警基本常识,从而可以根据目标对搜索进行动态调整,有利于提高风电机舱在火灾预警状态下的异常目标的识别定位准确性,可以提高火灾预警的准确性。
背景技术
风力发电是新能源发电领域中非常具有前景的重要分支,受到国家的重要关注和重视。风电机组系统结构复杂,且风电机舱中的设备长时间处于高速旋转和高振动状态,风电机舱内容易出现润滑油脂泄露、齿轮箱过热、电缆过流绝缘降低等问题,这些问题都容易产生烟雾甚至明火,导致设备发生火灾,威胁风电场的安全稳定运行。因此对风电机舱中的上述问题进行监测有利于在火灾早期就定位到火灾特征从而及时发出预警,能够辅助电站运维人员开展设备消防安全工作,最大程度的减少火灾给风电机组系统带来的损失。
随着计算机视觉和自然语言处理技术的融合和发展,具备自然语言理解和图像识别的多模态大模型开始崭露头角,并在风电场的火灾监控系统中取得了初步的应用。但是由于风电机舱环境复杂且背景噪声较多,现有在利用多模态大模型推理识别火灾特征时,容易出现幻觉缺陷,检测和预警准确性不够理想。
实现思路