[发明专利]一种基于多模态融合的小样本商品分类方法

说明书

本发明公开一种基于多模态融合的小样本商品分类方法，首先将多模态商品数据集随机分为元训练集和元测试集，在元训练集和元测试集上构建小样本分类任务；然后使用Resnet18和Text CNN分别提取商品的图像特征和文本特征，并使用双线性运算将两种模态的特征融合起来；接下来将支持样本的多模态特征和查询样本的多模态特征拼接起来输入到全连接层和Softmax层得到商品的类别概率值，计算交叉熵损失函数对网络中的参数进行训练；最后固定分量模型中的参数，将元测试数据集中的支持样本和查询样本输入到分类模型中就得到了查询样本的类别。本发明能够降低卷积神经网络在商品分类过程中对人工标注的依赖性，同时又能利用多模态信息提高小样本图像分类的精度。

技术领域

本发明涉及一种基于多模态融合的小样本商品分类方法，属于计算机视觉技术领域。

背景技术

随着互联网的快速发展和电子商务的不断兴起，网络购物逐渐已经成为人们生活中不可或缺的一部分。目前，购物网站上商品的数量每天都在急剧增长，商家对商品通过添加文字描述的这种人工标注方式对商品进行分类，耗费大量的人力物力，显然不能满足日益蓬勃发展的电子商务的发展的要求。基于图像内容的商品自动分类方法能够有效的解决上述问题。

近年来，深度卷积网络强大的特征提取能力使得图像分类技术取得接近甚至超越人类识别的性能。深度学习技术同样也被引入商品分类领域中，例如，刘凡等(刘凡，高瑞涿，邓言仪，张伟娟.一种基于多模态深度神经网络模型的商品分类方法.申请号：202011052122.7)公开了一种基于多模态深度神经网络莫的商品分类方法，该方法分别使用TexCNN和Resnet101分别提取商品的文本特征和图像特征，然后将这两种类型的特征拼接起来对商品进行分类。梁军等(梁军，余嘉琳，王霖竟，余松森.一种小样本商品图像分类方法、装置、设备及存储介质.申请号:202110844978.6)公开了一种小样本图像分类方法，该方法使用卷积神经网络提取商品的图像特征，利用度量模型对图像进分类识别。然而前一种方法中，由于使用Resnet101这种参数量巨大的大容量深度学习模型，需要大量人工标注样本才能完成模型的训练。而后一种方法关注于小样本商品分类，能够克服前一种方法的技术缺陷，但是由于商品分类属于细粒度分类任务，每种类别中的差异很小，只使用一种模态信息并不能将不同商品进行精确分类识别。因此，为了克服目前商品分类识别中的技术问题，本发明公开了一种基于多模态的小样本商品分类方法。

发明内容

针对上述现有技术存在的问题，本发明提供一种基于多模态融合的小样本商品分类方法，从而解决上述技术问题。

为了实现上述目的，本发明采用的技术方案是：一种基于多模态融合的小样本商品分类方法，其特征在于，包括以下步骤；

步骤S1：多模态商品数据集元训练集的处理，对于多模态商品数据集M，将其随机分为元训练数据集和元测试数据集两个子集，利用元训练数据集构建小样本分类任务，每个任务包含支持样本集和测试样本集，前者通过在元训练数据集中随机抽取N类商品，再在N类商品中随机抽取K个样本组成，后者通过在N类剩余样本中随机抽取Q个样本组成；

步骤S2：图像特征和文本特征提取模型的构建，商品图像特征提取模型为Resnet18，商品文本特征提取模型为Text CNN；

步骤S3：多模态特征的融合，将使用Resnet18提取的图像特征和Text CNN提取的文本特征使用双线性运算进行融合；

步骤S4：小样本商品分类模型的训练，将支持样本的融合特征和查询样本的融合特征拼接起来，输入到分类模型中的全连接层和Softmax层得到商品的类别概率输出值，对类别概率输出值与真实标签值计算交叉熵损失函数并利用梯度下降法对网络中的参数进行优化；

步骤S5：多模态商品数据集元测试集的处理，利用元测试数据集构建小样本分类任务，每个任务包含支持样本集和测试样本集，前者通过在元测试数据集中随机抽取N类商品，再在N类商品中随机抽取K个样本组成，后者通过在N类剩余样本中随机抽取Q个样本组成；