[发明专利]一种基于多模态GPT2模型的商品标题生成方法

说明书

基于多模态GPT2模型的商品标题生成方法，将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成商品标题：1)商品语音资料做预处理，2)采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；3)采用标题生成模块；4)对生成的商品标题进行后处理，识别出商品标题中的特殊标记符并替换为对应的商品属性；完善生成后的标题文本的规格、参数信息。

技术领域

本发明涉及多模态理解、文本生成技术，涉及一种通过多种模态信息(包括自然语言处理模型等)理解商品内容并自动生成商品标题的技术。

背景技术

电子商务平台需要频繁发布商品信息，包括商品的品类、属性、标题、描述以及图片等信息，尤其以标题、描述等文本信息的编辑最为耗费人力。商品标题的文本组织需要用高度精炼的语言突出商品的特点，要求在商品内容理解的基础上准确地描述商品信息，同时平台上海量的商品信息需要保证多样性，这对商品标题发布提出了非常高的智能化要求。

目前以GPT2为代表的文本生成模型在大量参数与海量语料的预训练基础上，可以生成非常连贯的文本，达到以假乱真的效果，但是这类模型很难控制生成的内容，而商品标题的发布需要与商品本身内容高度相关，需要很强的条件控制能力。实际上商品本身的信息是丰富的，包括品类、属性、图片多种不同模态的信息，而深度神经网络可以灵活地处理不同结构的数据，甚至融合不同模态的信息。

本发明使用深度神经网络对商品不同模态的信息分别做编码表示，然后使用GPT2注意力机制对这些信息做交互式融合，在商品内容理解的基础上生成标题，达到严格的内容条件控制。

发明内容

本发明目的是，克服现有技术的不足，提供一种高可控、多样性的商品标题生成算法模型。基于多模态GPT2模型对自然语音和图片等处理生成商品标题。

为解决上述技术问题，本发明提供的技术方案是，基于多模态GPT2模型的商品标题生成方法，其特征在于，能够将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成相关的、高质量(符合性好，更具有接近标准的标题)的商品标题，具体包括如下步骤：

步骤1：商品语料做预处理，构建属性字典，并且对规格类敏感信息做脱敏处理；

步骤2：采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；

步骤3：标题生成模块，将以上三种模态的商品信息编码添加到GPT2的上下文状态中，用GPT2的注意力机制融合所有的上下文信息，并自回归式地生成标题；

步骤4：后处理，完善生成后的标题文本的规格、参数等敏感信息。

所述步骤1中，所述处理流程具体包括如下步骤：

步骤1-1：构建属性字典，统计所有属性中的高频属性，将属性的键与值拼接之后加入属性字典中，例如{“Color：Red”，“Bound：2.4GHZ”，“Size：26Inch”}；

步骤1-2：脱敏处理，将标题文本中的规格参数信息使用标记属性的特殊符号代替。

所述步骤2中，需要用不同结构的子网络分别对商品不同模态的信息做编码表示，处理流程具体包括如下步骤：