[发明专利]基于多尺度多方向空间相关性建模的纹理图像分类方法

说明书

本发明涉及基于多尺度多方向空间相关性建模的纹理图像分类方法。本发明是通过深度神经网络提取纹理图像特征，对特征图进行多方向的图像旋转，图像旋转后接入双向LSTM，经LSTM特征信息处理后进入softmax进行分类。它可以充分利用卷积层对局部空间相关性和LSTM单元长期空间相关性的表示能力。为了更加充分训练模型，采取数据增强。最后在两个基准数据集DTD和FMD进行了广泛的实验，以比较所提出的方法和最先进的方法。结果说明所提出的模型具有较强的纹理图像表示能力，取得了较好的性能。

技术领域

本发明属于图像处理领域，涉及一种基于多尺度多方向空间相关性建模的纹理图像分类方法。

背景技术

图像分类是计算机视觉领域一个重要而活跃的研究领域，引起了该领域研究人员越来越多的关注。其中，作为与自然图像不同的纹理图像，它的分类依赖于反映物体材质、纹理等线索，而不是物体的语义。由于很难有效地描述和比较纹理，所以纹理图像分类仍然是一个非常具有挑战性的问题。

经典方法使用不同类型的手工特征，然后使用一些“浅”分类器(如SVM，随机森林等)进行分类。在进行特征提取的时候，一些方法被相继提出。其中局部二值模式方法比较经典，思想是中心像素与周围像素进行比较，若中心像素突然加入噪声，使中心像素的像素值发生变化，则使得比较的结果发生较大误差；只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。一种为中心对称局部二值模式(LocalBinaryPatterns，LBP)的方法增加了平面图像区域的鲁棒性，提高了计算效率。经典方法虽然可以描述一些特定类型的纹理，但是它们的性能受到噪声、尺度、纹理多样性等因素的影响。Ojala等人提出的旋转LBP和多尺度LBP，Fernandes K等人提出的深度LBP，虽然可以处理旋转，但仍受噪声的影响，不具有鲁棒性，所有基于LBP的方法对空间长距离的建模能力不足，使特征能力表达不足。近年来，深度学习在语音识别等方面取得了显著的进步。将特征提取(学习)与分类相结合的端到端建模机制使其具有较强的表示能力。纹理图像中的像素通常是空间相关的并形成重复或规则图案。利用现有的方法，直接对纹理图像进行处理，数据量过大并对计算机的处理能力要求过高。

发明内容

本发明的目的针对现有技术存在的不足，提出了一种基于多尺度多方向空间相关性建模的纹理图像分类方法。关键点在于本发明方法可以同时处理尺度和旋转，对空间相关性进行长时间建模。本发明在基础网络的卷积后进行特征图旋转，紧接着附加两个双向LSTM(长短时记忆)单元，最后将LSTM单元的输出特征连接在一起以进一步分类。它可以充分利用卷积层对局部空间相关性和LSTM单元长期空间相关性的表示能力。

本发明方法具体包括以下步骤：

步骤(1).数据集预处理。深度神经网络需要大量数据来训练未知参数。考虑到数据量较小，难以处理分类问题，应采用数据增强来扩大数据量以避免过度拟合。为此，将原始图像数据集使用垂直翻转与多尺度旋转进行数据增强，获取图像数目更多的数据集。例如DTD这个标准数据集中有5640个图像和47个类别，FMD中有1000个图像和10个类别。换句话说，每个类别只有100～120个样本。经过数据增强后可以使数据集增加倍数，使得数据集的图像数量变多，更有效的训练网络结构。

步骤(2).深度卷积神经网络获取图像特征图。

将步骤(1)进中行垂直翻转与多尺度旋转后的图像输入到深度卷积神经网络，进行深度卷积处理，得到该图像的特征图。

步骤(3).将步骤(2)卷积得到的特征图进行多方向旋转，旋转的角度可以为0°，30°等，但又不限于如此。