[发明专利]基于多尺度多方向空间相关性建模的纹理图像分类方法

摘要

本发明涉及基于多尺度多方向空间相关性建模的纹理图像分类方法。本发明是通过深度神经网络提取纹理图像特征，对特征图进行多方向的图像旋转，图像旋转后接入双向LSTM，经LSTM特征信息处理后进入softmax进行分类。它可以充分利用卷积层对局部空间相关性和LSTM单元长期空间相关性的表示能力。为了更加充分训练模型，采取数据增强。最后在两个基准数据集DTD和FMD进行了广泛的实验，以比较所提出的方法和最先进的方法。结果说明所提出的模型具有较强的纹理图像表示能力，取得了较好的性能。

主权项

1.基于多尺度多方向空间相关性建模的纹理图像分类方法，其特征在于该方法包括以下步骤：步骤(1).数据集预处理将原始图像数据集使用垂直翻转与多尺度旋转进行数据增强，获取图像数目更多的数据集；步骤(2).深度卷积神经网络获取图像特征图将步骤(1)经垂直翻转与多尺度旋转后的图像输入到深度卷积神经网络，进行深度卷积处理，得到该图像的特征图；步骤(3).将步骤(2)卷积得到的特征图进行多方向旋转；设A(x0,y0)为步骤(3)旋转后得到的特征图坐标位置(x0,y0)处的像素值，其对应的旋转前的特征图像素为P(x3,y3)，旋转角为θ，由于已知(x0,y0)则利用以下公式(1)可以求出(x3,y3)的坐标；x0＝x3cosθ‑y3sinθy0＝x3sinθ+y3cosθ   (1)当求解的(x3,y3)是整数点时，A(x0,y0)直接更新为P(x3,y3)，然后跳转到步骤(4)；当求解的(x3,y3)不是整数点时，采用双线性插值法更新A(x0,y0)，已知非整数点P(x3,y3)周围四个相邻点P11(x1,y1)、P12(x1,y2)、P21(x2,y1)、P22(x2,y2)的坐标值，则计算P(x3,y3)像素值的双线性插值方法如下：首先，在X方向进行插值，设P1(x3,y1)、P2(x3,y2)是在横坐标方向的中间插值结果，可以从公式(2)、(3)得到：然后，对P1(x3,y1)、P2(x3,y2)在Y方向再次插值，得到P(x3,y3)的像素值，如公式(4)所示：其中设为插值权重；P₁(x₃,y₁)为在P₁₁、P₂₁水平方向上两点间任意坐标，P₂(x₃,y₂)为P₁₂、P₂₂水平方向上两点间任意坐标；上述过程描述了旋转层前向计算过程；误差的反向传播计算过程如下：设旋转后特征图坐标(x0,y0)处的误差为ΔA(x0,y0)，则其反向传播到旋转前特征图坐标(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)处的累积误差ΔP(x1,y1)、ΔP(x1,y2)、ΔP(x2,y1)、ΔP(x2,y2)的计算更新公式如下：误差根据上述更新公式(5)反向传播到前一层，前一层按照标准卷积层等误差反向计算公式向前传播；步骤(4).将步骤(3)多方向旋转后的特征图，输入到LSTM进行空间相关性特征信息处理；步骤(5).图像分类：即通过LSTM得到图像特征信息，在用softmax分类器将不同类型的纹理图像进行分类，通过输出概率得到最终的分类结果；softmax分类器模型公式(5)：其中λ为图像的纹理特征，i、j为分类中的某一类，n为分类的全部总数，S为分类器的输出概率。