[发明专利]基于长短时序相关性注意力机制模型的流量预测方法

权利要求书

1.一种基于长短时序相关性注意力机制模型的流量预测方法，其特征在于，包括：

采集监测点预测当天的前连续15天的流量数据；

对预测当天的前连续7天的流量数据作线性变换，获得初次变换后数据作为查询、键及值的输入；对查询、键及值内的数据分别进行线性变换后，再采用放缩点积注意力机制模型进行处理；处理结果经Concat函数融合后，再进行线性变换，获得长度为7×1的一级向量；

将预测当天的前连续15天的流量数据线性变换后，输入长短期记忆网络LSTM，得到15×1的向量，将15×1的向量进行线性变换后获得同步变换数据；

对所述同步变换数据与所述初次变换后数据求解相关性，获得15×1的相关性向量，再进行线性变换得到长度为7×1的二级向量；

对所述一级向量与二级向量采用Concat函数进行加权求和，求和后再经正切函数进行正切变换，对正切变换的结果再进行线性变换，获得预测结果；

所述放缩点积注意力机制模型包括一号矩阵相乘单元、Softmax函数和二号矩阵相乘单元；

所述一号矩阵相乘单元将线性变换后的查询和键内的数据相乘后，经Softmax函数得到概率值的矩阵；线性变换后的值内的数据与所述概率值的矩阵经二号矩阵相乘单元进行相乘运算，获得放缩点积注意力机制模型的处理结果；

首先将流量数据输入长短期记忆网络LSTM，得到对应的隐藏层的值；选取预测当天的前连续15天的流量数据作为长时间序列，选取预测当天的前连续7天的流量数据作为短时间序列；然后利用注意力机制对长时间序列和短时间序列求解相关性，得到15×7的矩阵，再将所述15×7的矩阵乘以短时间序列，得到15×1的向量，并将所述15×1的向量映射到7天的长度上，得到7×1的向量；

对短时间序列做自注意处理，将短时间序列作为查询、键及值的输入，做线性处理，查询和键相乘，其结果经过softmax函数之后与值相乘，做线性处理，得到一个长度为7×1的向量；

然后对前两步得到的结果进行加权求和，将得到的结果做正切变换，再做线性处理得到注意力机制最后输出的结果。

2.根据权利要求1所述的基于长短时序相关性注意力机制模型的流量预测方法，其特征在于，所述放缩点积注意力机制模型采用的函数包括：

Attention是自注意函数，其中Q表示查询内的矩阵，K表示键内的矩阵，V表示值内的矩阵；d表示键内的矩阵的维度。