[发明专利]融合知识图谱和图卷积神经网络的焊点质量识别方法

权利要求书

1.一种融合知识图谱和图卷积神经网络的焊点质量识别方法，其特征在于：

对焊点拍照，获取焊点外观图像；焊点外观图像中包括焊点及焊点的位置视觉特征；裁剪焊点外观图像，获取焊点裁剪图像；使所有的焊点裁剪图像的尺寸相同，且每一张焊点裁剪图像中仅包含一个焊点及其位置特征；

将焊点裁剪图像导入细粒度网络进行特征挖掘，得到焊点的视觉特征矩阵；

根据焊点质量及焊点之间的位置关系建立知识图谱，并利用图卷积神经网络对知识图谱进行特征挖掘，得到焊点的高维点式空间特征矩阵；

将视觉特征矩阵与高维点式空间特征矩阵进行向量内积，得到焊点质量的分类检测结果；

知识图谱的实体为焊点质量特征和焊点位置特征，关系为某种焊点质量特征及相应位置特征同时出现的概率，从而得到概率矩阵，表示为：

其中，p_m,n和p_n,m表示相应概率；a_m和a_n均表示不同实体在所有焊点裁剪图像中分别出现的次数，且1≤m,n≤n₀；b_m,n表示任意两个实体同时出现在一张焊点裁剪图像中的次数；当m,n∈[1,n_c]时，m,n表示n_c种焊点，n_c表示焊点种类的数量；当m,n∈[n_c+1,n₀]时，m,n表示焊点位置特征，焊点位置特征的数量为n₀-n_c；n₀表示焊点种类数量与焊点位置特征数量之和；

将焊点质量特征和焊点位置特征通过嵌入层转换为词向量矩阵，将概率矩阵和词向量矩阵作为先验知识导入图卷积神经网络中；

利用多头注意力动态更新概率矩阵，处理来自不同表示子空间的信息，增强知识图谱的表达力；其中，多头注意力更新概率矩阵的过程可以描述为：

其中，A表示知识图谱的概率矩阵；A^(t)表示由多头注意力机制学习到的第t个概率矩阵；W_i^Q∈R^d×d和W_i^K∈R^d×d分别反映注意力机制的线性变换矩阵，Q和K表示上一层的特征向量；

图卷积神经网络的输入为多头注意力优化后的概率矩阵和经嵌入层生成的词向量矩阵，由于多头注意力机制会生成N个概率矩阵，形成N个不同的子图空间，N为注意力头数，故需要N个平行的图卷积神经网络挖掘不同子图空间的特征，其中，图卷积神经网络学习第t个子图空间特征的过程如下：

首先通过第t个子图空间概率矩阵A^(t)构建对称规范化拉普拉斯矩阵为：

其中，I_N为单位矩阵；L为知识图谱正则化的拉普拉斯矩阵，L可由概率矩阵A^(t)求得：

其中，D为A^(t)的度矩阵，D_ii＝∑_jA_ij；对进行特征分解：

其中：为列向量，属于节点向量空间H，即为L的特征值矩阵；

设第i层图卷积神经网络的输入特征为n为图节点个数，k为点式空间向量维度，输出特征为同时，设计一个过滤器并将图中节点每个通道进行线性变换可得图卷积神经网络的输出

其中，W_i∈R^k×k为线性变换矩阵，h为过滤器函数；为了减少计算量，根据切比雪夫不等式，近似估计即：

采用N个并行池化层去除冗余信息，对特征进行压缩，简化网络复杂度，减小计算量，池化过程可描述如下：

其中，W为池化过程的线性变换矩阵，为图卷积神经网络的输出，bias为池化过程的偏置；

采用线性层融合N个并行池化层挖掘到的特征，其线性变换的过程可描述如下：

Z_comb＝W_combZ_out+b_comb

其中，Z_comb为线性变换的输出；Z_out＝[Z⁽¹⁾；...；Z^(N)]为N个并行池化层的输出；b_comb为线性变换的偏置向量。