本申请公开了时间序列预测建模方法、预测方法、设备、介质及产品,涉及时间序列预测领域。所述建模方法包括构建每个时间序列的时间点集合和局部域集合;构建包括第一嵌入模块、第二嵌入模块和注意力模块的预测模型;利用每个时间序列的时间点集合和局部域集合对预测模型进行训练,得到目标预测模型;其中,第一嵌入模块将时间点集合中的每个时间点嵌入到高维空间;第二嵌入模块将局部域集合中的每个局部域嵌入到高维空间;注意力模块基于嵌入结果生成查询向量、键向量和值向量,并根据查询向量、键向量和值向量计算点‑局部域注意力依赖结果。本申请解决了传统Transformer难以有效地捕捉时间序列复杂依赖关系的问题。
背景技术
电力变压器在运行过程中会产生热量,负载越大,产生的热量越多,电力变压器的油温是反映电力变压器负载与运行状态的重要指标,利用连续观测获取的、随时间变化的电力变压器油温数据,可以预测电力变压器的温度(例如油温)、负载等未来的指标,为电力负荷调整控制、变压器冷却系统控制以及设备故障预警等提供依据。
电力变压器温度及负载数据是一种按照时间顺序排列的数据,基于历史时间序列的分析,可以预测未来的温度与负载,但是,由于电力变压器温度及负载数据具有时变、非平稳、非线性等特征,时间序列预测面临非平稳性、非线性和复杂依赖结构等难题。
目前,基于注意力机制的Transformer模型,由于其多头注意力机制捕获时间序列各元素之间的关联关系的优势,已成为时间序列预测最有前景的方法。但是,Transformer模型的注意力机制是以时间序列的单点元素作为标记(Token)输入,对时间序列的局部形态、连续特征和时序特征的利用不足,不能有效地捕捉时间序列的复杂依赖关系。
实现思路