[发明专利]一种图像数据多标签分类方法

权利要求书

1.一种图像数据多标签分类方法，其特征在于：本方法的步骤如下：

步骤一是对输入图像进行分解：对输入图像处理获得图像特征集合，建立输入空间，再将图像特征集合中每个图像特征向量进行两两乘积并求和得到图像分解向量；

步骤二是利用神经网络提取特征的高次相关性：将步骤一得到的图像分解向量输入到包含多层全连接层的神经网络中得到输入图像的特征码；

步骤三是对标签数据进行分解：对已知的标签数据处理得到标签特征集合，建立标签空间，再将标签特征集合中每个标签特征向量进行两两乘积并求和得到标签分解向量；

步骤四是利用神经网络提取标签的高次相关性：将步骤三得到的标签分解向量输入到包含多层全连接层的神经网络中得到标签数据的特征码；

步骤五是解码：采用包含多层全连接层的神经网络将输入图像的特征码从输入空间解码到标签空间；

步骤六是检测：构建损失函数，初始化训练参数，采用随机梯度下降方法最小化最终损失函数，训练求解获得最优的训练参数；然后针对待测试的图像数据输入到训练后的模型中进行预测，输出标签结果，实现多标签分类；

方法具体如下：

步骤一：由输入图像获得图像向量x＝[x₁，x₂，...，x_p]^T得到图像特征集合V_emb＝{v₁x₁，v₂x₂，...，v_px_p}，其中x₁，x₂，...，x_p分别表示输入图像中各个像素点的灰度值，x∈R^p，R^p表示p维的实数空间作为输入空间，p表示输入图像中的像素点总数；v_i表示第i个图像特征，v_i∈R^t，R^t表示t维的实数空间；t表示特征维度；v_ix_i表示第i个图像特征对于输入图像的图像特征向量；然后将图像特征集合V_emb中每个图像特征向量进行两两乘积并求和得到图像分解向量g_x：

其中，表示向量的对应项相乘，j和k分别表示输入图像中的像素点的序数；

步骤二：将步骤一得到的图像分解向量g_x输入到包含L+1层的第一神经网络中，第一神经网络是仅由L层全连接层结合一个输出层连接构成，其中除了最后一层全连接层以外的其他每个全连接层之后均设置有一个激活函数：

s_x1＝σ_x1(W_x1g_x+b_x1)

s_x2＝σ_x2(W_x2s_x1+b_x2)

……

s_xL＝σ_xL(W_xLs_xL-1+b_xL)

c_x＝W_xos_xL+b_xo

其中，s_xi，W_xi，b_xi，σ_xi分别是第一神经网络中第i个全连接层的输出向量、权重矩阵、偏差向量和Relu激活函数；c_x表示输入图像x的特征码，c_x∈R^t，R^t为维度t的实数空间作为隐空间；W_xo表示第一神经网络中输出层的权重矩阵，b_xo表示第一神经网络中输出层的偏差向量；s_xL-1是第一神经网络中第L-1个全连接层的输出向量；s_xL是第一神经网络中第L个全连接层的输出向量；

步骤三：由已知的标签数据获得标签向量y＝[y₁，y₂，...，y_q]^T得到标签特征集合U_emb＝{u₁y₁，u₂y₂，...，u_qy_q}，其中y₁，y₂，...，y_q分别表示标签数据中每个图像标签的分类值，y∈R^q，R^q表示q维的实数空间作为标签空间，q表示标签数据中的标签分类总数；u_i表示第i个标签特征，u_i∈R^t，R^t表示t维的实数空间；t表示特征维度；u_iy_i表示第i个标签特征对于标签数据的标签特征向量；然后将标签特征集合U_emb中每个标签特征向量进行两两乘积并求和得到标签分解向量g_y：

其中，表示向量的对应项相乘，e和r分别表示标签数据中的标签分类的序数；

步骤四：将步骤三得到的标签分解向量g_y输入到包含L+1层的第二神经网络中，第二神经网络是仅由L层全连接层结合一个输出层连接构成，其中除了最后一层全连接层以外的其他每个全连接层之后均设置有一个激活函数：

s_y1＝σ_y1(W_y1g_y+b_y1)

s_y2＝σ_y2(W_y2s_y1+b_y2)

……

s_yL＝σ_yL(W_yLs_yL-1+b_yL)

c_y＝W_yos_yL+b_yo

其中，s_yi，W_yi，b_yi，σ_yi分别是第二神经网络中第i个全连接层的输出向量、权重矩阵、偏差向量和Relu激活函数；c_y表示标签数据y的特征码，c_y∈R^t，R^t为维度k的实数空间作为隐空间；W_yo表示第二神经网络中输出层的权重矩阵，b_yo表示第二神经网络中输出层的偏差向量；

步骤五：用包含L_d+1层的第三神经网络对输入图像x的特征码c_x处理，解码到标签空间，第三神经网络是仅由L_d层全连接层结合一个输出层连接构成，其中除了最后一层全连接层以外的其他每个全连接层之后均设置有一个激活函数：

h₁＝η₁(W_d1g_x+b_d1)

h₂＝η₂(W_d2h₁+b_d2)

……

其中，h_i，W_di，b_di，η_i分别是第三神经网络中的第i个全连接层的输出向量、权重矩阵、偏差向量和Relu激活函数，L_d表示神经网络的层数；表示预测的标签输出向量；W_do表示第三神经网络中输出层的权重矩阵，b_do表示第三神经网络中输出层的偏差向量；

步骤六：建立以下损失函数Ψ：

其中，θ表示训练参数，由上述所有图像特征和所有标签特征以及三个神经网络中的权重矩阵、偏差向量构成了训练参数，Θ是所有训练参数的集合，||·||表示向量的二阶范数或矩阵的Frobenius范数，λ是可调权重参数；Ψ_D表示图像向量x和标签向量y的特征码之间的平方损失函数，Ψ_E表示标签输出向量和标签向量y之间的平方损失函数，N是训练数据的数量。