[发明专利]基于神经网络的服装图片导购文字生成方法及装置

说明书

本发明公开了基于神经网络的服装图片导购文字生成方法及装置，提供基于神经网络的服装图片导购文字生成方法及装置的技术方案，将卷积神经网络和循环深度神经网络两者结合成一个能够自动对图像进行识别并对图像进行深层次的描述的机器模型，赋予了RNN网络更好的上下文学习能力，提高输入一个图片生成对应的文本描述的准确性，能够根据衣服的各种特征有针对性地生成多条及多风格的导购文字，这将能很好地辅助导购文字的撰写，帮助他们提高文字的质量和内容的独特性，依靠深度学习算法的学习能力，进一步提高导购文字的相关性，同时大大降低文本编辑的人力成本与时间。

技术领域

本公开涉及神经网络与图像处理技术领域，具体涉及基于神经网络的服装图片导购文字生成方法及装置，尤其涉及一种基于卷积神经网络和循环神经网络的服装图片导购文字生成方法及装置。

背景技术

作为一个电商公司(例如淘宝、小红书、蘑菇街等)或从事服饰电商经营的淘宝店家、微商从业者、网红KOL(关键意见领袖)等在撰写产品的导购文字时，需要聘请专门从事图片导购文字编辑者，并且对每一张图片的导购文字的支出费用在十几元到上百元不等。如果评论图片的基数比较庞大，那么支出的费用将十分高昂。然而企业使用本系统生成一张图片导购文字只需要0.5到1元左右，能极大地降低成本。此外，由于成本低廉，导购文字撰写者也可以采用本系统来帮助自己撰写导购文字。传统的导购文字撰写人员通常在公司中存放一些导购文字语句库中选择与图片内容相符合的文字描述，再经过简单的组合来完成工作，这样的做法不但耗费时间，而且在语料库中的语句容易被重复使用，造成文字的雷同及单一化，导购文会为企业单项产品增加几倍甚至几十倍的销售额增长。但企业需要聘请5-20名专门从事图片导购文字编辑者撰写产品的导购文字，一名有两到三年经验的编辑者月薪平均在5000元左右，每日只能产出5000-6000字的导购文字。而对每一张图片的质量较高的导购文字的支出费用在十几元到上百元不等。如果评论图片的基数比较庞大，那么支出的费用将十分高昂。

发明内容

为解决上述问题，本公开提供基于神经网络的服装图片导购文字生成方法及装置的技术方案，具体是通过生成一个基于计算机视觉与自然语言处理的时尚图片导购文字生成模型，将卷积神经网络(CNN)用于对图片的处理与识别，循环深度神经网络(RNN)用于对自然文本的识别，将两者结合成一个能够自动对图像进行识别并对图像进行深层次的描述的机器模型，通过使用卷积+循环深度的神经网络模型，在对自然语言的学习与处理过程中，采用了一个双向循环的RNN架构，每一个神经元节点即作为输入点也作为输出点，这样子赋予RNN网络更好的上下文学习能力，提高输入一个图片，生成对应的文本描述的准确性。最后，通过一个共同的、多模的编码空间以及一个结构化目标，将两种形态(模式)联系在一起。在这个共同的编码空间中，自动推断出对应图片的文本描述，用户可通过SaaS端口使用本方法及装置的服务。

为了实现上述目的，根据本公开的一方面，提供基于神经网络的服装图片导购文字生成方法，所述方法包括以下步骤：

步骤1，采集开源图像数据集和文字数据集；

步骤2，将开源图像数据集划分为图像训练数据集和图像测试数据集；

步骤3，搭建CNN卷积神经网络和RNN循环神经网络；

步骤4，通过图像训练数据集训练CNN卷积神经网络；

步骤5，将图像测试数据集通过训练好的CNN卷积神经网络得到图片训练特征；

步骤6，通过文字数据集训练RNN循环神经网络，

步骤7，将图片训练特征输入已训练好的RNN循环神经网络得到导购文字。