[发明专利]基于深度学习的多元时间序列多层时空依赖建模方法

说明书

本发明属于深度学习领域，公开了基于深度学习的多元时间序列多层时空依赖建模方法。本发明引入新颖的注意力机制对神经网络中不同层提取的时空依赖特征做更加细粒度的处理，本发明提出的模型由一个堆叠的长短期神经网络‑卷积神经网络(LSTM‑CNN)，基于CNN的空间注意力机制，基于CNN的通道注意力机制，时间注意力机制以及自回归组件组成，通过引入多层时空依赖的概念，使用基于CNN的通道注意力机制和基于CNN空间注意力机制来分别关注不同层的时空依赖特征，实现了对冗余信息的过滤以及对预测结果影响更大的特征的有效提取，达到了提高预测结果的目的，在不同领域内的多元时间序列数据上表现优异并且能够扩展到单元时间序列预测的任务上。

技术领域：

本发明属于深度学习领域，涉及到基于深度学习的多元时间序列预测的方法，属于深度学习在时间序列数据上的应用。

背景技术：

多元时间序列普遍存在于各个领域，其本身具有复杂时间特性以及空间特性。通过使用深度学习工具对多元时间序列数据进行时空特征的表征，来预测其未来的发展趋势，在能源消耗、交通流量和空气质量等各个领域具有重要的实际应用价值。

为了捕捉多元时间序列固有的时空特性，人们已经提出了各种方法。在传统的时间序列预测方法中，自回归移动平均模型(ARIMA)能够有效的提取序列本身的长期依赖性，但是往往忽略了多元序列的空间相关性，并且ARIMA模型对数据本身的要求也很严格，其只适用于平稳性时序数据。因此，ARIMA模型不适用非平稳性以及多元时间序列预测。基于机器学习的回归方法，如支持向量回归(SVR)，在对时间序列进行预测的过程中，SVR将外源序列映射在高维空间中，更加关注于外源序列的空间性而忽视了序列的时间依赖性，并且对于样本非常大的数据来说，映射的高维空间维度更大，SVR的计算成本也随之增大。

深度学习的方法适合处理大样本数据并且能够拟合各种复杂函数，良好的内在特性使得其能够挖掘出多元时间序列中复杂的时空特征。现已提出了各种神经网络模型来完成多元时间序列预测任务，基于循环神经网络(RNN)的模型对时间特征的提取受到了很大的关注。尤其是RNN的变体长短期神经网络(LSTM)通过引入门控机制添加外部信息，以便捕获时间序列数据的长期依赖并且缓解了梯度爆炸和消失的问题。LSTM更加关注于序列数据上的时间依赖性，对于多元时间序列来说，多个序列之间的空间联系对预测结果也是极为重要的。近年来，基于注意力机制的神经网络已经被研究人员广泛用于时间序列预测，从不同的研究角度基于不同的时空特征构建注意力机制。例如，长短期时序网络(LSTNet)引入了时间注意力机制，对当前预测结果有更大影响的历史数据将得到更多的关注，同时，LSTNet的循环跳跃组件使其在处理周期性数据方面更胜一筹。然而，在LSTNet的卷积层中，每个变量维度都被平等的对待，因此，在空间特征的捕捉上无法捕捉对当前预测结果影响更大的特征。基于双阶段注意力的循环神经网络(DA-RNN)在第一个阶段引入时间注意力机制来捕捉外源数据与目标序列的时间相关性，尚未考虑外源数据不同组成部分之间的空间相关性。以上深度学习的方法中未充分的捕捉多元时间序列的时空特征，并且从网络中不同层获得的时空依赖的差异被忽略，这可能导致特征冗余并影响时空相关性的提取，对多元时间序列预测的结果带来不利的影响。

发明内容：