[发明专利]基于深度自注意力网络和局部特征编码的纹理识别方法

说明书

本发明涉及一种基于深度自注意力网络和局部特征编码的纹理识别方法，根据纹理图像的特点设计了具有四个阶段的深度自注意力模块，在前三个阶段对局部图像块进行合并增大感受野，将自注意力计算限制在固定大小的局部空间；在最后一个阶段取消局部图像块合并，并对在全局计算自注意力，获取局部区块间的联系；从而更好的提取局部区域的纹理特征并保持全局特征不丢失。本发明提出的PET网络充分结合图像内局部区域内的纹理信息，将骨干网络输出的二维特征重塑为三维特征图。通过移动窗口在特征图中密集采样多种尺度的分块描述符，获得一组多尺度的局部表示。最后，对多尺度的分块特征进行局部特征编码和融合，生成一个固定尺度的纹理表示用于最终的分类。

技术领域

本发明属于纹理分类、材料分类技术领域，具体涉及一种基于深度自注意力网络和局部特征编码的纹理识别方法。

背景技术

在经典的纹理识别方法中，在基于词袋模型的方法中，首先使用手工特征(如GLCM、LBP、LPQ)提取特征，将每个描述符赋给码本中最接近的视觉词，通过统计视觉词出现频率或对残差进行聚合的方法进行分类。随着深度学习的快速发展，卷积神经网络(CNN)被广泛使用来代替手工提取特征，然后采用纹理编码策略进行最终的纹理分类。

大多数现有方法如FV-CNN(1)、DeepTEN(2)、DEP-NET(3)、LSCTN(4)，这些方法通常对CNN提取的整体特征进行基于纹理编码。在纹理图像中，整张图像的像素排列和变化模式往往与局部区域内具有相同的规律，因此局部区域有具有很强的纹理识别能力，而现有的整体编码方法通常依赖CNN进行特征提取，并且忽视了结合局部特征进行纹理编码，因而对纹理的识别性能较低。

上述现有技术中存在的缺陷：

(1)对于经典纹理识别方法，其解决方案中往往依赖于一些图片预处理、手工特征提取和词袋模型，这类方法由于其检测性能较低已远无法满足当前检测需求。其次，没有利用深度学习框架对方法进行优化；

(2)对于同类深度学习方法而言，第一，这类方法通常使用深度卷积网络(CNN)进行深度特征提取，而CNN虽然在基于目标和对象等图像上证明了其强大的特征捕获能力，但是对于纹理特征的提取能力有限。第二，在纹理图像中，局部区域有具有很强的纹理识别能力，现有方法忽视了结合局部特征进行纹理编码，制约了模型对纹理数据的识别能力。

参考文献：

(1)：M.Cimpoi,S.Maji,and A.Vedaldi.Deep filter banks for texturerecognition and segmentation.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition,pages 3828–3836,2015.1,6；

技术要点比较：该文章提出了采用FisherVector(FV)作为编码层获得无顺序表示，但CNN网络和FisherVector编码层是单独训练的采用FisherVector(FV)作为编码层获得无序表示，但CNN网络和FisherVector编码层是单独训练的，不是端到端结构；

(2)：Hang Zhang,Jia Xue,and Kristin Dana.2017.Deep ten:Textureencodingnetwork.InIEEE conference on computer vision and patternrecognition.708–71；

技术要点比较：该文章提出将特征提取和字典编码集成到端到端模型中，在字典学习过程中考虑了视觉词和赋值之间的相关性，改进了VLAD方案，但是没有考虑到局部特征和多尺度特征编码；