[发明专利]基于神经网络的服装图片导购文字生成方法及装置

权利要求书

1.基于神经网络的服装图片导购文字生成方法，其特征在于，所述方法包括以下步骤：

步骤1，采集开源图像数据集和文字数据集；

步骤2，将开源图像数据集划分为图像训练数据集和图像测试数据集；

步骤3，搭建CNN卷积神经网络和RNN循环神经网络；

步骤4，通过图像训练数据集训练CNN卷积神经网络；

步骤5，将图像测试数据集通过训练好的CNN卷积神经网络得到图片训练特征；

步骤6，通过文字数据集训练RNN循环神经网络，

步骤7，将图片训练特征输入已训练好的RNN循环神经网络得到导购文字。

2.根据权利要求1所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤1中，所述开源图像数据集包括但不限于DeepFashion数据集,所述文字数据集包括但不限于每日搭配之道数据集或电商平台的数据库中商品的文字描述。

3.根据权利要求1所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤2中，将开源数据划分为图像训练数据集和图像测试数据集的方法包括：留出法、交叉验证法、自助法任意一种方法。

4.根据权利要求1所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤3中，所述CNN卷积神经网络包括但不限于Xception、VGG16、VGG19、ResNet50、InceptionV3中任意一种的开源网络模型，用于对图片进行训练和分类，所述RNN循环神经网络包括但不限于LSTM和GRU中的任意一种，在RNN循环神经网络引入门控装置，来处理记忆单元的记忆/遗忘、输入程度、输出程度的问题。

5.根据权利要求1所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤4中，通过图像训练数据集训练CNN卷积神经网络的方法为，

步骤4.1，将图像训练数据集的图片数据转换为tfrecord格式；

步骤4.2，将CNN卷积神经网络的激活层抽象特征输入池化层，使输入张量的各个子矩阵进行压缩,得到输入矩阵的维度变小；

步骤4.3，将tfrecord格式的图片数据输入CNN卷积神经网络，使用CNN卷积神经网络中卷积层的激活函数ReLU函数，将输出作非线性的变换。

6.根据权利要求5所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤5中，将图像测试数据集通过训练好的CNN卷积神经网络得到图片训练特征的方法为，将图像测试数据集通过训练好的CNN卷积神经网络后，把CNN卷积神经网络的输出层的输出结果作为图片训练特征。

7.根据权利要求6所述的基于神经网络的服装图片导购文字生成方法，其特征在于，在步骤7中，将图片训练特征输入已训练好的RNN循环神经网络得到导购文字的方法为，将图片训练特征输入到训练好的RNN循环神经网络后，RNN循环神经网络根据输入特征的词向量位置，选择语料库中概率最大的文字数据输出，得到描述图片的导购文字，所述语料库包括但不限于每日搭配之道数据集或电商平台的数据库中商品的文字描述，每日搭配之道数据集采集于每日搭配之道平台。

8.基于神经网络的服装图片导购文字生成装置，其特征在于，所述装置包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序运行在以下装置的单元中：

数据集采集单元，用于采集开源图像数据集和文字数据集；

数据集划分单元，用于将开源图像数据集划分为图像训练数据集和图像测试数据集；

神经网络搭建单元，用于搭建CNN卷积神经网络和RNN循环神经网络；

卷积网络训练单元，用于通过图像训练数据集训练CNN卷积神经网络；

训练特征提取单元，用于将图像测试数据集通过训练好的CNN卷积神经网络得到图片训练特征；

循环神经训练单元，用于通过文字数据集训练RNN循环神经网络，

导购文字生成单元，用于将图片训练特征输入已训练好的RNN循环神经网络得到导购文字。