[发明专利]一种基于平均偏汉明损失的多维标签预测方法

说明书

本发明公开了一种基于平均偏汉明损失的图片数据偏标签多维学习方法，本发明首先进行数据标签集合预处理，然后进行数据集的预训练，接着使用预训练好的模型来提取图片特征，利用多层感知机基于获得的图片特征进行训练，得到训练模型，最后使用训练好的模型进行多维标签预测。本发明基于平均偏汉明损失，解决了偏标签多维分类问题。

技术领域

本发明涉及机器学习领域中的神经网络，偏多标签学习，多标签学习、多维学习和偏标签多维学习，尤其涉及一种基于平均偏汉明损失的多维标签预测方法。

背景技术

多维分类问题指的是对于某个示例，有若干个标签与之有关。但是实际上，这些标签又可以被划分到许多个子集中，也就是多个维度中，该示例仅与每个维度中的一个标签有联系。然而在某些特定的场景之下，训练集往往不能非常明确得知道每个维度下的真值标签，而是只知道真值标签在哪一个集合当中，这样一个新的问题——也就是偏标签多维问题就被提了出来，本发明所使用的方法也是用来解决这个问题的。

现有的技术往往将偏标签多维分类问题解构成多个二元分类问题，然后基于每个标签的分类器预测结果在每个标签维度上选取概率最大的标签作为预测。这样做的一个不足之处是没有考虑到标签之间的相关性，在此之上，我们认为每个维度之间的相关性也是没有被考虑到的。本发明则直接对偏标签多维分类问题进行求解，没有忽略标签之间的相关性。

卷积神经网络是本发明在预处理图片数据的时候所用到的技术。这个技术能够很好的提取图片的特征，所以在图片预处理阶段，使用了该技术来提取图片特征。

多层感知机是本发明在实施模型的时候使用的方法，这个模型是几个全连接层中间嵌套非线性激活层堆叠得到的一个神经网络模型。

平均偏汉明损失是本发明在训练模型的时候使用到的损失函数。

发明内容

为了解决背景技术中存在的问题，本发明提出了一种基于平均偏汉明损失的多维标签预测方法。

本发明所采用的技术方案如下：一种基于平均偏汉明损失的多维标签预测方法，包括如下步骤：

步骤一：数据标签集合预处理：将多维标签数据编码到高维中，将原始的多维标签子集组合之后得到组合的标签集合，建立新的空间；

步骤二：数据集的预训练：使用ImageNet数据集预训练一个神经网络，得到一个可以抽取图片特征的预训练模型；

步骤三：首先使用步骤二中预训练好的模型来提取图片特征。之后利用多层感知机基于获得的图片特征进行训练。该多层感知机输出在每一个维度上的预测标签。多层感知机训练时的损失函数是平均偏汉明损失，这个损失函数接受步骤一中预处理的标签集合和本步骤的预测结果，得到的输出是期望损失，这个值越小越好，采用Adam方法来优化损失，训练该多层感知机，提升多层感知机预测性能；

步骤四：使用步骤三训练好的模型进行多维标签预测。

进一步地，所述步骤一具体如下：输入的图片数据来自集合X＝R^w×h×D，其中R代表实数集，w、h为一张图片的宽和高，D取3，代表了图片RGB通道数。令全标签集合为Y＝C₁×C₂×…×C_i×…×C_d，其中，这里的C_i表示第i个标签维度上的候选标签集，该候选标签集中共有k_i个不同的标签取值，即此外i的取值范围为1,2,…,d。全标签集合Y是d个维度上的候选标签集的笛卡尔积集合。

已知的训练集：

Q＝{(x_j,Y_j)|x_j∈X,Y_j∈Y,1≤j≤n}