[发明专利]一种基于图注意力机制的空气污染物浓度预测方法

权利要求书

1.一种基于图注意力机制的空气污染物浓度预测方法，构建基于图注意力机制的空间污染物浓度预测模型，将气象数据、空气监测数据、环境因素数据作为模型输入数据，通过图注意力机制构建图邻接矩阵，利用图卷积神经网络层和多层感知机网络层提取图信息特征，输出预测的空气污染物浓度值；

所述基于图注意力机制的空气污染物浓度预测方法包括训练阶段和测试阶段；具体包括如下步骤：

1)利用空气污染物浓度数据、气象数据、环境因子数据和地图数据，构建输入特征向量X；包括如下操作：

11)对收集的空气污染物浓度数据、气象数据和环境因子数据分别进行数据清洗，对缺失数据进行填充或删除；

12)以GPS位置信息为基准对数据进行整合，使数据的时空尺度保持一致；将数据按照经纬度映射在地图中，再按照路程长度平均选取点位置；

13)将所有点位置的数据形成向量集合；点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；将空气污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；

14)每一个特征标签作为特征向量中的一列；将每列特征标签数据进行归一化处理；按比例分为训练集、验证集和测试集；将训练集的n个位置点构建输入特征向量X是一个n*d的矩阵，表示一共有n个点，每个点具有d维特征，即构建得到输入特征向量X；

共选取P个点位，选取的P个点的位置数据组成向量集合，每个点位置关联的数据包括空气污染物浓度数据、气象数据和环境因子数据；并将污染物浓度作为预测标签，将环境因子数据、气象数据作为每个点位置的特征标签；每一个特征标签在特征向量中为一列，将每列特征标签数据进行归一化处理；将P个点按一定比例分为训练集、验证集和测试集，其中训练集的位置点为n个，构建输入特征向量X是一个n*d的矩阵，表示一共有n个点，每个点具有d维特征

2)构建基于图注意力机制的空气污染物浓度预测模型：

基于图注意力机制的空气污染物浓度预测模型包括：多层感知机、注意力机制模型、图注意力网络层；其中，多层感知机包括：输入层、中间的多个隐层、输出层；多层感知机的层与层之间是全连接的；注意力机制模型包括编码器、用于进行归一化的softmax层和解码器；图注意力网络层包括输入层与输出层、特征提取与注意力机制、输出特征层和多头注意力机制；构建模型包括如下过程：

21)将输入特征向量X输入到多层感知机的层中进行变换，得到新的特征向量H₁；

给定实验样本作为输入层，表示样本X的批量大小为n，输入的个数为d；设置多层感知机有一层隐藏层，隐藏层神经元的个数为h，隐藏层的输出为G₁，表示其隐藏层输出是行为n，列为h的矩阵；隐藏层和输出层均是全连接层，有d*h个权重；设置隐藏层的权重参数和偏差参数分别为和隐藏层的输出为G₁＝XW_h+b_h；其中，W_h大小为(d,h)，即d行h列，每一列对应隐藏层的每一个神经元的连接权重；b_h是偏置，为h维向量，1行h列；

设置输出层的权重和偏差参数分别为和输出为H₁＝f(G₁W₁+b₁)，函数f是ELU函数；

22)将H₁通过四层的多层感知机，得到新的特征向量H₂；

输入层给定实验样本其批量大小为n，输入的个数为q，n行q列；设置多层感知机有两层隐藏层，其中第一层隐藏层单元的个数为h，隐藏层的输出为G₂，输入批量大小为n，隐藏层单元为h；输出为n行h列，第一层隐藏层的输出G₂即为第二层隐藏层的输入，第二层隐藏层单元个数为m；第二层隐藏层输出为G₃，n行m列，同时，第一层隐藏层、第二层隐藏层和输出层均是全连接层，设置第一层隐藏层的权重参数和偏差参数分别为和隐藏层的输出为G₂＝H₁W_h+b_h，第二层隐藏层的权重参数和偏差参数分别为和隐藏层的输出为G₃＝G₂W_h+b_h；输出层的权重和偏差参数分别为和输出为H₂＝f(G₃W₃+b₃)；

23)通过注意力机制得到所构造的邻接矩阵A；

输入结构化的数据到编码器中；结构化的数据用集合表示为c＝{c₁,c₂,...,c_M}，总共有M个元素，集合中的元素代表输入信息中的空间位置上的输入信息，在t位置上，根据已知的语义表示向量c_t、上一时刻预测的z_t-1和解码器中的隐状态h_t-1，输出为在位置t下，第i个元素上下文分别表示对应的注意力，反映编码器对于输入注意位置和权重与输出注意位置和权重之间的相关性，表示为：

是未归一化的注意力得分；再经过softmax函数，进行归一化，突出重要元素的权重，得到所有权重系数之和为1的概率分布

解码器对集合C中不同的上下文信息表示注意的程度即概率，用注意力分布作为每个输入元素c_i受关注程度的权重，对每个输入单词对应的隐状态h_i进行加权求和，得到每个元素所对应的语义向量表示g_n，即注意力值；

将图像视觉编码后的特征为B*C维的特征图，构造为邻接矩阵A；

将邻接矩阵A和特征向量H₁作为参数，输入到图注意力网络层中，通过两层图注意力网络层得到新的特征向量H₃；包括步骤24)和25)；

24)针对图注意力网络层N个节点，按照输入的特征预测输出的特征；

将邻接矩阵A和特征向量H₁作为参数输入到图注意力网络层中，输入为N为节点的个数，F为特征的个数，表示输入为N个节点的每个节点的F个特征；输出为表示对N个节点的F'个输出，输出为N个节点的每个节点的F'个特征；

对所有节点训练一个权值矩阵：该权值矩阵表示输入与输出的F个feature与输出的F'个feature之间的关系；针对每个节点实行自注意力机制，机制为a:注意力互相关系数表示为表示节点j对于节点i的重要性；向量h即特征向量，下标i，j表示第i个节点和第j个节点；由此得到相应的输入与输出的转换；

通过伪装注意力机制将注意力机制引入图结构中；伪装注意力机制即只计算节点i的相邻的节点j，节点j为j∈N_i，其中Ni为节点i的所有相邻节点；

通过softmax函数对所有的i的相邻节点j进行正则化；表示为：

α_ij为注意力互相关系数正则化后的结果；

注意力机制a是一个单层的前馈神经网络，通过权值向量确定并加入LeakyRelu的非线性激活；注意力机制表示如下：

注意力互相关系数α_ij为注意力互相关系数正则化计算后的结果；

应用相互注意机制a(Whi，Whj)，通过权重向量a参数化，应用LeakyReLU函数激活，模型权重为T表示转置；符号“||”表示将新向量拼接到原来的向量之后，对应维数增加；注意力机制公式即表示将权值矩阵与F'个特征相乘，然后节点相乘后并列在一起，与权重相乘，激活后进行指数操作得到softmax函数的分子，通过运算得到正则化后的不同节点之间的注意力互相关系数，用来预测每个节点的输出特征层：其中W为与特征相乘的权值矩阵，α_ij为计算得到的注意力互相关系数，softmax为非线性激活，遍历的j表示所有与i相邻的节点；

将输出特征层加入计算多头注意力机制，计算公式表示为:

其中，第k个注意力机制为(a^k)；K为注意力机制的数量；k表示K中的第k个；输入特征的线性变换表示为W^k，最终的输出为h'，共KF'个特征，输出为

25)将h’再次输入到步骤24)的图注意力网络层模型中，得到新的特征向量H₃＝{h'₁₁,h'₁₁,...,h'₁₁},

26)将得到的特征向量H₂和H₃进行相加操作，得到新的特征向量H₄，并将特征向量H₄和邻接矩阵A输入到与步骤24)相同的图注意力网络层中，即将特征向量H₄和邻接矩阵A再进行一次步骤24)的操作，得到最终的输出预测标签向量Y；

3)训练模型并验证，得到训练好的空气污染物浓度预测模型；

训练模型使用随机梯度下降作为优化函数，学习率设置为α，训练迭代次数设置为s；当验证集中的平均绝对百分误差MAPE值最小时的输出作为最终预测结果；

在测试阶段，对待测空气，采用训练好的空气污染物浓度预测模型进行预测，即得到空气污染物的预测浓度。