[发明专利]基于注意力改进的交通预测方法及计算机介质

权利要求书

1.一种基于注意力改进的交通预测方法，其特征在于，包括如下步骤：

输入观测的交通数据，依次经过全连接层和注意力层，计算注意力参数；

随机采样注意力参数，计算每组采样的注意力参数中的分布与平均分布的KL散度值；

根据每组注意力参数中的KL散度值，获取注意力参数的概率分布与均匀分布之间的差值Top-u；

根据差值Top-u，获取差值最大的多个注意力参数；

使用一个4维的张量Φ∈R^B×T×N×N对获取的注意力参数同时进行空间和时间上的卷积，将卷积后的注意力参数输入全连接层，输出预测交通流量，其中，R表示实数张量矩阵，B为mini-batch维度，T为时间维度，N×N为空间上的邻接矩阵维度。

2.如权利要求1所述的基于注意力改进的交通预测方法，其特征在于，计算注意力的值的方法：

定义一种基于(Q,K,V)三矩阵输入的规范自注意力：

其中，Q,K,V表示张量矩阵；Softmax()为分类函数，表示使用Q矩阵乘以K矩阵的转置；

对应的维度为L_Q，L_K，L_V分别表示Q，K，V的中间维度，R表示实数张量矩阵，L表示维度，d为输入的维度；

使用q_i，k_i，v_i分别代表矩阵Q，K，V中的第i行，第i个注意力参数表示为：

其中，概率概率p(k_j∣q_i)表示第i个query中在key中的注意力，V_j为矩阵V中的向量。

3.如权利要求1所述的基于注意力改进的交通预测方法，其特征在于，计算KL散度值的方法如下：

对注意力参数进行归一化处理，基于均匀分布的注意力参数理论值为当概率时，注意力参数变为对矩阵V的平均求和；

对概率p和注意力参数理论值q进行比较得出差值，设置阈值h，当该差值大于阈值h，筛选出重要的概率p，使得Q矩阵变为稀疏矩阵：

是一个和Q相同大小的矩阵，其中只包含由计算得到差值超过阈值h的注意力参数，其余注意力参数设为0，概率p与注意力参数q之间的KL散度值：

4.如权利要求3所述的基于注意力改进的交通预测方法，其特征在于，所述获取注意力参数的概率分布与均匀分布之间的差值Top-u的方法如下：

对原始矩阵Q中的值进行采样，利用KL散度值计算概率p与注意力参数q间概率分布的差值，令采样系数u＝c·lnL_Q，c为人为根据经验设置的超参数，计算注意力涉及到的矩阵内积计算的时间复杂度为空间复杂度为

利用注意力参数的长尾分布，随机选取U＝L_Qln L_K个概率分布对，计算U个概率分布与均匀分布之间的差值Top-u，并将差值Top-u填充入矩阵内，将矩阵内未填充的部分设置为0，矩阵变成一个稀疏矩阵。