[发明专利]基于注意力机制的图神经网络交通流量预测方法及系统

权利要求书

1.基于注意力机制的图神经网络交通流量预测方法，其特征是，基于时序和图注意力机制的神经网络对道路交通流量进行建模预测，通过时序注意力和图注意力机制分别在时间维度和图结构维度获取交通流量变化和相关性特征，利用深度网络拟合城市市区内指定范围内道路路网的车流量模型，并预测指定道路卡口未来的交通流量数据，包括：

获取待预测的城市交通流量数据；根据道路连接关系构建路网图；

对待预测的城市交通流量数据进行预处理；

将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果；

所述基于注意力机制的神经网络，包括：

依次连接的输入层、时序节点嵌入层、N个串联叠加的注意力机制模块、和逆卷积变换线性输出层；

所述注意力机制模块，包括：依次连接的时序注意力层、第一标准化层、图注意力层、和残差叠加标准化层；

所述时序注意力层的输入端与时序节点嵌入层的输出端连接；

所述残差叠加标准化层的输出端与逆卷积变换线性输出层连接；

所述注意力机制模块，还包括：残差连接子模块，所述残差连接子模块的输入端与时序节点嵌入层的输出端连接，所述残差连接子模块的输出端与残差叠加标准化层的输入端连接；

所述图注意力层，包括多个注意力头部，每个注意力头部关注不同层面的注意力，每个注意力头部内部结构相同，包括：

输入层，用于将输入数据区分为特征张量和邻接矩阵，分别输入到网络中不同位置；

特征张量单元，携带节点的时序信息和图节点编码信息的多维数组；

邻接矩阵单元，携带图节点之间相关性信息的二维矩阵；

特征权重核，是用于被训练的参数矩阵，用于将特征张量的某一维度映射为一个固定长度向量的矩阵；

第三张量乘法函数，用于将特征张量与特征权重核进行矩阵相乘，将特征维度映射到一个固定长度，称为hiddenfeature隐特征；

注意力权重核，是用于被训练的参数矩阵，用于将隐特征映射到注意力隐特征；

第四张量乘法函数，用于将隐特征与注意力权重核进行矩阵相乘，将隐特征映射到自注意力隐特征和邻接注意力隐特征；

自注意力单元，即为自注意力隐特征；

邻接注意力单元，即为邻接注意力隐特征；

转置函数单元，用于将邻接注意力隐特征进行转置操作，便于下一步运算；

第一加法函数，用于将自注意力和邻接注意力相加，得到总的注意力特征；

LeakyRelu激活函数，用于对总的注意力特征的每一个元素进行非线性变换；

邻接矩阵单元，邻接矩阵经过mask掩码处理；

第二加法函数，用于将经过非线性变换之后的总的注意力与A_mask相加；

softmax函数，用于将总注意力与A_mask的和进行计算，得出注意力相关性矩阵；

第一dropout函数，用于按照设定概率和比例将部分注意力相关性矩阵的参数置为0，避免模型过拟合；

第二dropout函数，用于按照设定概率和比例将隐特征的参数置为0，避免模型过拟合；

第五张量乘法函数，用于对经过dropout处理的注意力相关性矩阵和隐特征进行矩阵乘法，得到经相关性加权的隐特征；

激活层，用于对经相关性加权的隐特征进行非线性变换；

所述图注意力层，用于将输入数据中关于图结构节点与自身和邻居之间的注意力特征进行提取和处理，并区分注意力头部得到不同的注意力隐特征，并输出传递给模型的下一层；

用邻接矩阵表示路网图节点之间的连接关系，图的邻接矩阵节点集合边集合

所述邻接矩阵单元，邻接矩阵首先经过mask掩码处理，公式为：

A_mask＝-10⁹*(1-A)

其中A是邻接矩阵，A_mask是经过mask掩码后的邻接矩阵，经掩码后，邻接矩阵中原来为1的元素映射为0，原来为0的元素映射为-10⁹；

经过训练的模型可以对在训练集中没有数据的未知卡口进行流量预测，如要预测k_p卡口在时间t_p～t_p+δ内的车流量，只需要将卡口编码和时间段编码拼接之后输入模型，模型即可推理计算出预测结果。