[发明专利]一种基于平均偏汉明损失的多维标签预测方法

权利要求书

1.一种基于平均偏汉明损失的偏标签多维预测方法，其特征在于，包括如下步骤：

步骤一：数据标签集合预处理：将多维标签数据编码到高维中，将原始的多维标签子集组合之后得到组合的标签集合，建立偏标签问题下的训练集；

步骤二：数据集的预训练：使用ImageNet数据集预训练一个神经网络，得到一个可以抽取图片特征的预训练模型；

步骤三：首先使用步骤二中的预训练模型来提取图片特征；之后利用多层感知机基于获得的图片特征进行训练；该多层感知机输出在每一个维度上的预测标签；多层感知机训练时的损失函数是平均偏汉明损失，这个损失函数接收步骤一中预处理的标签集合和本步骤的预测结果，得到的输出是损失值，这个值越小越好，采用Adam方法来优化损失，训练该多层感知机；

步骤四：使用步骤三训练好的模型进行多维标签预测；

所述步骤一具体如下：输入的图片数据来自集合X＝R^w×h×D，其中R代表实数集，w、h为一张图片的宽和高，D取3，代表了图片RGB通道数；令全标签集合为Y＝C₁×C₂×…×C_i×…×C_d，其中，其中，C_i表示第i个标签维度上的候选标签集，该候选标签集中共有k_i个不同的标签取值，即此外i的取值范围为1,2,…,d；全标签集合Y是d个维度上的候选标签集的笛卡尔积集合；

已知的训练集：

Q＝{(x_j,Y_j)|x_j∈X,Y_j∈Y,1≤j≤n}

在训练过程中，将原始训练集Q转化为符合偏标签问题的训练集；训练集Q中各个示例x_j的标签Y_j被转换到新的标签候选集S_j＝{s₁,s₂,…,s_i,…,s_d}∈M中；其中新的标签全集M代表所有种类的标签组合的集合，M被定义为：

其中，是示例x_j在偏标签问题下第i个标签维度上的标签集，该标签集包含了原始标签Y_j在第i个标签维度上的取值；得到偏标签问题下的训练集：

所述步骤三具体如下：对输入图片数据预处理，得到224×224×3的RGB图像，再计算三个通道的平均值，在每个像素上减去平均值；然后将其作为输入，使用步骤二中预训练后的卷积神经网络对图片进行处理，得到图片数据的低维特征表征

随后使用多层感知机来处理获得的低维特征，多层感知机定义如下：

其中，T表示所使用的多层感知机的层数，σ_T和σ是非线性激活函数，使用ReLU函数作为σ的实现；使用softmax函数作为σ_T的实现；即

σ(x)＝max(0,x)

其中，hⁱ(x)是在示例x上对第i个标签集合中的标签的预测置信度，取置信度最高的标签作为预测标签，W和b是可训练的参数；使用平均偏汉明损失作为训练多层感知机时的损失函数，其定义如下：

其中，Z＝{(x_j,S_j)|x_j∈X,S_j∈M,1≤j≤n}是偏标签训练集，是第j个训练样本的第i个候选标签集,I(x)在条件x成立时返回1反之返回0；

使用上述的步骤构建预测模型，使用Adam算法对模型进行优化，最终训练得到预测模型。

2.根据权利要求1所述的基于平均偏汉明损失的偏标签多维预测方法，其特征在于，所述步骤二具体如下：模型的输入图片是一个高维的表示需要使用一个经过预训练的卷积神经网络模型对输入的图片数据x进行预处理，得到图片数据的一个低维特征表征；在该卷积神经网络的预训练过程中，卷积神经网络使用了ImageNet数据集进行训练，得到一个映射函数f_MAP:R^w×h×D→R^m；利用这个映射函数预处理图片可以得到m维的图片的低维表征；其中，损失函数被定义为交叉熵损失，优化器被设置为随机梯度下降算法。

3.根据权利要求1所述的基于平均偏汉明损失的偏标签多维预测方法，其特征在于，所述步骤四具体如下：首先针对待预测的图片，使用步骤二预训练好的模型来提取图片的特征；随后使用步骤三训练好的多层感知机处理输入特征，得到该待预测的图片对每个标签集中标签的预测置信度；最后在每个标签集中选取置信度最大的标签作为预测结果。