[发明专利]一种基于正交损失函数的多任务分类网络的构建方法

权利要求书

1.一种基于正交损失函数的多任务分类网络的构建方法，其特征在于包括下述步骤：

步骤一：构建层级标签树；

层级标签树的结构分为两层，第一层标签为图像的粗类标签，根据图像所属物种划分，第二层标签为图像的细类标签，根据图像属于哪一物种的子类进行定义；

步骤二：搭建深度卷积神经网络作为特征提取模块；

选择深度卷积神经网络为具有残差结构的Resnet-18提取图像深度特征，包含18层网络结构，其中包括17个卷积层和一个全连接层；除去第一个卷积层使用7*7的卷积核外，其余的卷积层均使用3*3的卷积核，其中每两个卷积层构成一个残差块，加入恒等映射，网络要求输入维度为3*224*224的图像RGB三维像素值，经过17个卷积层的运算后得到特征向量输出维度为512*7*7，特征向量输入到全连接层，全连接层的输出维度为1024，因此，图像经过Resnet-18得到一个包含1024个神经元的一维向量，即为深度卷积神经网络提取的深度特征；

步骤三：搭建树分类器进行分类；

根据步骤一中层级标签树构建对应的树分类器，树分类器的结构为两层，第一层包含一个粗分类器，用于粗分类任务；第二层包含N个细分类器，用于细分类任务，子分类器包括一个粗分类器和N个细分类器，子分类器有相同的网络结构，且相互独立，每个子分类器都包括两个全连接层和一个softmax分类器，每一个子分类器得到一个分类结果；将步骤二得到的深度特征输入到每一个子分类器中进行分类，其中粗分类器首先得到图像属于第n个粗类，根据粗分类器的分类结果和层级标签树定义的从属关系，选择第n个细分类器进行细分类得到图像属于哪一细类；至此，包含深度卷积神经网络和树分类器的多任务分类网络搭建完毕，当将一张图像输入多任务分类网络中即可进行图像分类，得到图像分类结果；

步骤四：构造正交损失函数

将深度卷积神经网络和树分类器进行结合，搭建好多任务分类网络后，输入训练集图像来训练多任务分类网络，需要构建损失函数来进行参数更新；

首先构造正交损失函数进行参数更新，采用正交损失所实现的期望结果为粗分类器特征向量和细分类器特征向量在空间上正交，使得在理想状态下交叉特征向量为0，将特征选择要完成的目标加入损失函数中提出了一种正交损失，构造正交损失函数公式如下：

其中x为输入N张图像的像素值，k代表粗类的个数，f₁，f₂，......，f_k代表k个细分类任务，Tr代表求矩阵的迹，T代表矩阵转置，f_g(x)代表得到的N张图像的粗分类器特征，f_s(x)代表N张图像的细分类器特征，的迹代表N张图像的粗分类器特征和细分类器特征对应求内积再相加求和，当等于0时，表示粗分类器特征和细分类器特征每一行向量都正交，α为超参数；

输入训练集图像来训练多任务分类网络时，利用正交损失函数进行反向传播，通过更新参数，降低正交损失函数的值；当正交损失函数无限趋近于0时，f_g(x)和f_s(x)趋于正交；

步骤五：构造分类损失函数；

在将f_g(x)和f_s(x)传输到下一层全连接层和softmax分类器中进行分类时，经过softmax分类器将多个神经元的输出映射到(0，1)区间内，分别得到粗分类预测值和细分类预测值，而后利用交叉熵损失函数度量预测值和真实标签值之间的误差，交叉熵损失函数公式如下：

其中g代表粗类，s代表细类，X代表输入图像经过步骤二得到的深度特征，W_g和W_s分别代表粗分类器和细分类器中的权重值，b_g和b_s分别代表粗分类器和细分类器中的偏置，当交叉熵损失函数无限接近于0时，预测值无限接近真实标签值；

步骤六：将步骤四的正交损失函数和步骤五的交叉熵损失函数相加，通过反向传播用于网络参数的更新，反向传播使用SGD优化器，通过随机梯度下降法利用训练集图像不断更新参数，每一轮训练都加入测试集进行测试。