[发明专利]一种基于知识图谱的工业产品缺陷图像分类方法

权利要求书

1.一种基于知识图谱的工业产品缺陷图像分类方法，其特征在于，该方法包括以下步骤：

S1：分别创建缺陷图库X、每个缺陷图对应的标签库Y以及缺陷类别对应的附加属性向量V；

S2：利用图像增强技术对缺陷图进行增强得到增强后的缺陷图库X′；

S3：构建缺陷图像特征提取网络，然后不断地从经过S2增强后的缺陷图库X′中获取图像批次x_B和其对应的标签y_B；将缺陷图片批次x_B输入所述的缺陷图像特征提取网络中，得到该图像批次不同粒度下的图像特征，并进行归一化，得到归一化后的图像特征e_B；

所述的缺陷图像特征提取网络包括Imagenet训练好的VGG网络特征提取的主干网络和分层双线性池化网络共同完成；在VGG网络特征提取的主干网络提取到图像的不同粒度下的特征u，v，w后，利用双线性池化网络捕获局部特性的跨层间交互；双线性池化网络H有如下形式：

H(u，v，w)＝P^Tconcat(U^Tu*V^Tv，U^Tu*W^Tw，V^Tv*W^Tw)

其中P为分类矩阵，U，V，W分别为u，v，w的投影矩阵，H(u，v，w)为图像批次不同粒度下的图像特征；

S4：设计图嵌入方式；

将从S3中得到的e_B中的每张缺陷的特征和S1中的缺陷类别对应的附加属性向量V嵌入到无向图中，从而得到批次图像特征的图批次g_B；

S5：构建图特征提取的图卷积网络，将S4中的图批次g_B输入到所述的图卷积网络中，从而得到图批次g_B的特征o_B；

S6：对S5中的o_B进行特征变换得到其变换后的特征o′_B；

S7：构建单层线性判别网络，然后将S3中的特征e_B与S6中得到的o′_B一起作为所述的判别网络的输入，所述的判别网络的输出为缺陷图像批次x_B对应的判别标签y′_B；

S8：由损失函数计算出缺陷图像批次x_B的真实标签y_B和S7中得到的判别标签y′_B之间的损失l_d；

S9：用反向传播算法同时优化l_d、所述的缺陷图像特征提取网络、所述的图卷积网络和所述的判别网络，直到l_d收敛，最终得到整个缺陷图像的分类模型；

S10：将待分类缺陷图片及缺陷类别对应的附加属性向量进行上述S3～S6过程的特征处理后输入到S9得到的所述的缺陷图像的分类模型中，所述的S3-S7中的缺陷图像特征提取网络、图卷积网络、单层线性判别网络均为优化后的网络，最终得到缺陷所属的缺陷类别。

2.根据权利要求1所述的基于知识图谱的工业产品缺陷图像分类方法，其特征在于，所述的S2中利用图像增强技术对缺陷样本进行增强包括对负样本随机进行翻转、偏移、改变对比度、饱和度、亮度和增加噪点中的任意一种或多种；同时在数据增强时，要确保缺陷的意义不发生变化。

3.根据权利要求1所述的基于知识图谱的工业产品缺陷图像分类方法，其特征在于，所述的S6的特征变换依靠以下规则来计算：

R(x)＝Conv1D(f(x))

其中R为图卷积特征的逆转换函数，Conv1D为一维卷积网络，f为线性整流函数具体形式如下：

4.根据权利要求1所述的基于知识图谱的工业产品缺陷图像分类方法，其特征在于，

所述的S8中的损失l_d由交叉熵损失来计算，对于其输入判别类别概率m和缺陷类别标签n，n∈B^j，

其中，α为类别概率m的所属权重，j为缺陷类别的个数，B^j为缺陷类别标签的向量集合。