[发明专利]一种基于多分辨率特征融合的纹理图像疵点分类系统及方法

权利要求书

1.一种基于多分辨率特征融合的纹理图像疵点分类系统，其特征在于，所述疵点分类系统将疵点不同分辨率的浅层特征和深层特征进行直接融合后对疵点进行分类；所述浅层特征为边缘的底层特征，包含物体的边缘和轮廓以及与颜色的组合；所述深层特征为高层次的抽象特征；所述疵点分类系统包括：图像获取模块、数据处理模块、疵点分类网络训练模块和疵点分类模块；

所述图像获取模块，用于获取疵点图片；

所述数据处理模块，用于标定疵点区域位置信息，截取疵点样本，将疵点样本输入常用的特征提取网络得到不同分辨率的特征，建立特征数据集，所述特征包括深层特征和浅层特征；

所述疵点分类网络训练模块，采用深浅层多分辨率特征融合网络提取所述特征数据集中各样本特征，进行疵点分类网络训练；所述深浅层多分辨率特征融合网络由一个可变形卷积层和一个平均池化层组成，所述可变形卷积层用于压缩输入特征的通道数；所述平均池化层用于减小特征的尺寸，使得深层与浅层输出的特征大小一致，可以在通道维度直接做堆叠操作；优选的，所述平均池化层通过计算池化窗口内的平均值来减小特征的尺寸；

所述疵点分类模块，采用训练完成的疵点分类网络提取疵点的特征，用于对疵点进行分类；

优选的，所述常用特征提取网络为ResNet、DenseNet、VGGNet网络。

2.根据权利要求1所述的疵点分类系统，其特征在于，所述可变形卷积层由两路平行的卷积层组成，共享特征输入；其中一路采用常规卷积层，其中所述常规卷积层使用的卷积核大小为1，步幅为1；另一路采用额外的卷积层，学习x、y两个方向的位置偏移，输出通道数为所述常规卷积层输出的两倍。

3.根据权利要求1所述的疵点分类系统，其特征在于，所述不同分辨率的特征的维度为h×j×c，其中h为特征的长，j为特征的宽，c为特征的通道数，深层特征和浅层特征的h，j，c可以不同；

所述不同分辨率的特征输入可变形卷积层中常规卷积层后，第一常规输出特征的特征维度为其中d表示将输入通道压缩的比例；

所述不同分辨率的特征输入可变形卷积层中额外的卷积层后，第一额外输出特征的特征维度为

第一常规输出特征和第一额外输出特征相结合，得到第二输出特征，其特征维度为

所述第二输出特征图输入一个平均池化层，对所述第二输出特征图尺寸进行压缩，得到第三输出特征图的特征维度为其中k表示池化窗口的大小；深层特征和浅层特征选用不同的k，使得深层特征和浅层特征的和相同，即使得深层特征与浅层特征输出的特征大小一致，可以在通道维度直接做堆叠操作。

4.根据权利要求1所述的疵点分类系统，其特征在于，在所述特征r上做可变形卷积，输出为：

其中，R表示输入特征的特征空间，p_n是对所述特征空间所有位置的枚举，p₀为当前像素点位置，Δp_n表示位置偏移量，W(·)表示权重矩阵，r(·)表示输入特征指定位置的像素值，f(·)对应输出特征指定位置的像素值；

其中，由于偏移量通常为小数，因此经过偏移后的位置p通过双线性插值法进行实现，公式如下：

其中，p＝p₀+p_n+Δp_n表示经过偏移的采样位置，表示偏移后的位置，G(·，·)为双线性插值权重，其中

G(a，b)＝max(0，1-|a_x-b_x|)·max(0，1-|a_y-b_y|)

其中(a_x，a_y)表示a点对应的x轴和y轴坐标值，(b_x，b_y)表示b点对应的x轴和y轴坐标值。

5.根据权利要求1所述的疵点分类系统，其特征在于，所述截取疵点样本的方法为，对疵点区域的短边长度进行统计，根据结果截取疵点区域作为疵点样本，并以同样大小截取非疵点区域作为正常样本；

作为优选，所述正常样本和疵点样本取自同一张图，用于保证疵点样本与正常样本除有无疵点外的其他因素如光照、拍摄角度保持一致。