[发明专利]一种基于栓母对知识图谱的螺栓缺陷分类方法

权利要求书

1.一种基于栓母对知识图谱的螺栓缺陷分类方法，其特征在于，包括以下步骤：

S1，构建栓母对缺陷数据集；具体包括：构建粗级缺陷数据集，包括缺垫片、缺销子、缺销子和垫片、完整四类数据；或构建细级缺陷数据集，包括缺垫片、视觉可见缺销子、视觉不可见缺销子、缺垫片+视觉可见缺销子、缺垫片+视觉不可见缺销子、完整六类数据；

S2，提取栓母对联合区域特征；具体包括：将栓母对缺陷数据集裁剪为三个区域，其中一个区域为栓母对区域，另外两个分别包含螺栓和螺母单独区域，并使用Faster R-CNN检测器从这三个区域提取特征；然后将这些特征与编码螺栓和螺母的几何特征的位置信息连接并馈送到完全连接层以产生最终特征d维特征向量f_h＝R^d，该特征作为缺陷节点的输入特征来初始化缺陷特征；

S3，提取语义对象区域特征；

S4，构建基于GGNN模型的栓母对知识图谱，具体包括：基于栓母对联合区域特征和语义对象区域特征初始化得到栓母对知识图谱的缺陷节点和语义对象节点，基于邻接矩阵得到栓母对知识图谱的边，邻接矩阵代表着缺陷节点与语义对象节点之间的关联；

S5，采用由完全连接层实现的输出网络来计算节点级特征，计算缺陷节点和语义对象节点的特征，对于缺陷类别，连接其自身节点的特征和涉及的节点的特征作为其最终特征向量f_i；

S6，将最终特征向量f_i馈送到完全连接层，根据下列公式计算各类缺陷的得分向量s＝{s₁,s₂,...,s_M}，

s_i＝Wf_i+b

其中，分数最大的缺陷类别即为螺栓缺陷的缺陷类别。

2.根据权利要求1所述的基于栓母对知识图谱的螺栓缺陷分类方法，其特征在于，所述步骤S3中，提取语义对象区域特征，具体包括：将检测到的栓母对区域作为语义对象检测区域，将预训练后得到的本图片内所有语义对象坐标与栓母对联合坐标比较，若该语义对象坐标在栓母对联合坐标则满足语义对象检测区域，则可使用该语义对象o特征，反之则丢弃，并继续循环该步骤，直至比较完毕，使用FasterR-CNN检测器提取语义对象区域的特征。

3.根据权利要求1所述的基于栓母对知识图谱的螺栓缺陷分类方法，其特征在于，所述步骤S4中，基于栓母对联合区域特征和语义对象区域特征初始化得到栓母对知识图谱的缺陷节点和语义对象节点，具体包括：

使用独热矢量来明确区分两种节点类型即缺陷节点和语义对象节点，采用[1,0]和[0,1]分别表示缺陷节点和语义对象节点，其他情况，初始化隐藏状态h_v0用[[0,1],0_d]表示，故在时间步长t＝0时初始化隐藏状态，表示为

其中，d维特征向量f_h＝R^d，该特征作为缺陷节点的输入特征来初始化缺陷特征，d维特征向量f_o＝R^d，该特征作为语义对象节点的输入特征来初始化缺陷特征。

4.根据权利要求3所述的基于栓母对知识图谱的螺栓缺陷分类方法，其特征在于，所述步骤S5中，采用由完全连接层实现的输出网络来计算节点级特征，计算缺陷节点和语义对象节点的特征，对于缺陷类别，连接其自身节点的特征和涉及的节点的特征作为其最终特征向量f_i，具体包括：

S501，在每个时间步，各节点首先聚合来自其邻居节点的消息，表示为：

其中，A_v是邻接矩阵A的子矩阵，表示节点v与其邻居节点的连接，然后，该模型结合来自其他节点和前一时间步的信息，通过门控循环单元的选通机制更新每个节点的隐藏状态，经过公式(3)的T次循环，

其中，σ和tanh分别是逻辑sigmoid和双曲正切函数，z和r是更新和重置门，控制遗忘信息，控制新产生信息，W表示输入的权重，U表示此刻输入的样本的权重，为其他节点隐藏状态，为前一时间步的节点隐藏状态，为更新的节点隐藏状态；

S502，采用由完全连接层实现的输出网络来计算节点级特征，由

将缺陷节点和语义对象节点的输出特征表示为{o_r1,o_r2,...,o_rM}和{o_o1,o_o2,..,o_oN}；

对于缺陷类别r_i，连接其自身节点的特征和涉及的节点的特征作为其最终特征，即

f_i＝[o_ri,α_i1o_o1,α_i2o_o2,...,α_iNo_oN]    (5)

其中，N_i是图中节点i的邻居节点集，如果语义对象节点j不属于N_i，则将α_ij指定为0，如果语义对象节点j属于N_i，则将α_ij指定为1。