[发明专利]基于注意力机制的时间序列预测方法、装置及存储介质

摘要

本方案涉及人工智能，提供基于注意力机制的时间序列预测方法、装置及计算机可读存储介质，方法包括：采集目标站点和周边站点的待预测信息的历史信息以及影响待预测信息的影响因素信息，整理为时序数据，利用LSTM编码器、LSTM解码器进行预测，并对解码器的最终输出结果进行线性变换，输出目标站点的待预测信息的预测值；对损失函数采用梯度下降法进行训练，更新LSTM编码器、LSTM解码器的参数；利用更新的LSTM编码器、LSTM解码器对目标站点的待预测信息进行预测。本发明在Attention机制中增加了虚拟反馈的机制来更新LSTM编码器、LSTM解码器的参数，可以提高参数更新的准确性。

主权项

1.一种基于注意力机制的时间序列预测方法，应用于电子装置，其特征在于，包括：1)采集目标站点和周边每个站点的待预测信息的历史信息以及影响待预测信息的影响因素信息，整理为时序数据作为LSTM编码器的输入张量，利用LSTM编码器的t‑1时刻的输出、所有时刻的输入张量计算第一注意力权重，利用第一注意力权重对时序数据进行加权处理，并将LSTM编码器t‑1时刻的输出与经过第一注意力权重加权处理的时序数据输入LSTM编码器，得到t时刻LSTM编码器的虚拟输出，将t时刻LSTM编码器的虚拟输出输入到LSTM编码器，利用t时刻LSTM编码器的虚拟输出以及所有时刻的输入张量计算第二注意力权重，利用第二注意力权重再次对时序数据进行加权处理，并将LSTM编码器t‑1时刻的输出与经过第二注意力权重加权处理的时序数据输入LSTM编码器，得到t时刻LSTM编码器的最终输出；2)利用LSTM编码器的所有最终输出、LSTM解码器t‑1时刻的输出计算第三注意力权重，将第三注意力权重与LSTM编码器的最终输出做加权处理，并将LSTM解码器t‑1时刻的输出、经过第三注意力权重加权处理的LSTM编码器的最终输出输入到LSTM解码器，得到t时刻的LSTM解码器的虚拟输出，将t时刻的LSTM解码器的虚拟输出输入到LSTM解码器，利用t时刻的LSTM解码器的虚拟输出、LSTM编码器的所有最终输出计算第四注意力权重，利用第四注意力权重再次对LSTM编码器的最终输出做加权处理，并将LSTM解码器t‑1时刻的输出与经过第四注意力权重加权处理的LSTM编码器的最终输出输入到LSTM解码器，得到t时刻解码器的最终输出；3)将解码器的最终输出结果进行线性变换，输出目标站点的待预测信息的预测值；4)构建损失函数，对损失函数采用梯度下降法进行训练，更新LSTM编码器、LSTM解码器的参数；5)利用更新的LSTM编码器、LSTM解码器对目标站点的待预测信息进行预测。