[发明专利]一种基于多模态融合的小样本商品分类方法

权利要求书

1.一种基于多模态融合的小样本商品分类方法，其特征在于，包括以下步骤；

步骤S1：多模态商品数据集元训练集的处理，对于多模态商品数据集M，将其随机分为元训练数据集和元测试数据集两个子集，利用元训练数据集构建小样本分类任务，每个任务包含支持样本集和测试样本集，前者通过在元训练数据集中随机抽取N类商品，再在N类商品中随机抽取K个样本组成，后者通过在N类剩余样本中随机抽取Q个样本组成；

步骤S2：图像特征和文本特征提取模型的构建，商品图像特征提取模型为Resnet18，商品文本特征提取模型为Text CNN；

步骤S3：多模态特征的融合，将使用Resnet18提取的图像特征和Text CNN提取的文本特征使用双线性运算进行融合；

步骤S4：小样本商品分类模型的训练，将支持样本的融合特征和查询样本的融合特征拼接起来，输入到分类模型中的全连接层和Softmax层得到商品的类别概率输出值，对类别概率输出值与真实标签值计算交叉熵损失函数并利用梯度下降法对网络中的参数进行优化；

步骤S5：多模态商品数据集元测试集的处理，利用元测试数据集构建小样本分类任务，每个任务包含支持样本集和测试样本集，前者通过在元测试数据集中随机抽取N类商品，再在N类商品中随机抽取K个样本组成，后者通过在N类剩余样本中随机抽取Q个样本组成；

步骤S6：小样本商品分类测试，固定分类模型中的图像特征和文本特征提取网络和全连接层中的参数，将元测试数据集中的支持样本和查询样本输入到分类模型中就得到了查询样本的类别。

2.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法，其特征在于，所述步骤S1多模态商品数据集元训练集的处理的具体方式如下；

S11：对于多模态商品数据集M，将其随机分为元训练数据集和元测试数据集两个子集，元训练数据集表示为M_train，元测试数据集表示为M_test；

S12：在数据集M_train中随机抽取N类商品，在N类商品中随机抽取K个样本构建支持样本集，支持样本集表示为S_train，其中第k个支持样本及其对应的标签表示为和

S13：在N类剩余样本中随机抽取Q个样本构建查询样本数据集，查询样本集表示为Q_train，其中第q个支持样本及其对应的标签表示为和

3.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法，其特征在于，所述步骤S2中图像特征和文本特征提取模型的构建的具体方式如下；

S21：商品图像特征提取模型为Resnet18，该网络被表示为I_θ(·)，θ为网络中的参数，该网络是由初始层为一层卷积层和最大池化层，卷积层中具有64个7×7卷积核，步长为2，最大池化层中滤波器的大小3×3，步长为2；网络的第1层、2层、3层和4层分别含有2、2、2、2个残差块，四个残差块中分别具有64，128，256以及512个通道；

S22：商品文本特征提取模型为Text CNN，该网络被表示为为网络中的参数，该网络是由特征嵌入层，卷积层和全连接层组成。

4.根据权利要求1所述的一种基于多模态融合的小样本商品分类方法，其特征在于，所述步骤S3多模态特征的融合的具体方式如下；

31：元训练集中的第k个支持样本和第q个查询样本输入到商品图像特征提取模型中，得到的特征表示为和

S32：元训练集中的第k个支持样本和第q个查询样本输入到商品文本特征提取模型中，得到的特征表示为和

S33：将图像特征和文本特征的C×W维矩阵上的每一个点作为位置点，则每个位置点为H维的向量特征，共有CW个位置；

S34：使用双线性运算对支持样本的图像特征和文本特征进行融合的计算公式为：

其中表示支持样本图像特征的第l个位置上的H维向量，表示查询样本图像特征的第l个位置上的H维向量，

S35：使用双线性运算对查询样本的图像特征和文本特征进行融合的计算公式为：

其中表示支持样本图像特征的第l个位置上的H维向量，表示查询样本图像特征的第l个位置上的H维向量。