[发明专利]一种基于多模态GPT2模型的商品标题生成方法

权利要求书

1.基于多模态GPT2模型的商品标题生成方法，其特征在于，将不同模态的商品信息融入GPT2的上下文状态中，在理解商品内容的基础上生成商品标题，具体步骤如下：

步骤1：商品语音资料做预处理，统计属性字典和特殊标记符，构建属性字典，并且对规格类敏感信息做脱敏处理；并得到脱敏后的商品标题；

步骤2：采用商品信息编码模块，分别使用ResNet和Embedding对商品图片和属性做编码，用GPT2对商品品类名称编码，得到GPT2网络与ResNet图像编码器、Embedding属性编码器三种不同模态信息的编码表示；

步骤3：采用标题生成模块，将以上三种模态的商品信息编码添加到GPT2的上下文状态中，对GPT2网络与ResNet图像编码器、Embedding属性编码器三种模态的编码信息用GPT2的注意力层进行融合；用GPT2的注意力机制融合所有的上下文信息，并自回归式地生成商品标题；

步骤4：对生成的商品标题进行后处理，识别出商品标题中的特殊标记符并替换为对应的商品属性；完善生成后的标题文本的规格、参数信息；

所述步骤1中，所述处理流程具体包括如下步骤：

步骤1-1：构建商品属性字典，统计所有属性中的高频属性，将商品属性的键与值拼接之后加入商品属性字典中，例如{“Color：Red”，“Bound：2.4GHZ”，“Size：26Inch”}；

步骤1-2：脱敏处理，将商品属性字典中标题文本中的规格参数信息使用标记属性的特殊符号代替。

2.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，所述步骤2中，需要用不同结构的子网络分别对商品不同模态的信息做编码表示，处理流程具体包括如下步骤：

步骤2-1：将商品图片用ResNet子网络编码得到特征图I∈R^w×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量H_i^w·h×d；

步骤2-2：将商品属性通过步骤一的属性字典做属性编码，再使用维度大小为d的Embedding子网络做向量嵌入，得到H_a^k×d，其中k表示属性数量；

步骤2-3：将商品标题通过GPT2得到文本表征H_t^l×d，其中l表示标题长度。

3.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，所述步骤3中，将步骤2中得到的所有特征向量拼接到不同位置上H＝[H_i；H_a；H_t]，[；]表示拼接操作，假设当前已经生成的文本状态为X∈R^n×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，从A的概率分布中采样生成下一个词语；

所述步骤4中，将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值，例如将生成的“[Tire size]All Steel Radial Truck and Bus Tire([ModelNO.]+[Spec])withSuperb Wear”中的特殊标记符替换为对应的商品属性，处理后变为“20 Inch All SteelRadial Truck and Bus Tire(AR5157A+12.00R20)with Superb Wear”。

4.根据权利要求1所述的基于多模态GPT2模型的商品标题生成方法，其特征是，将商品图片用ResNet子网络编码得到特征图I∈R^w×h×s，其中w和h分别表示编码后的宽和高，s表示特征图向量维度，经过一个线性变换将特征图的维度s变换为d，d表示GPT2的隐藏层维度大小，再通过形状变换将w和h两个维度合并，最后得到图片状态向量H_i^w·h×d；

再使用维度大小为d的Embedding子网络做向量嵌入，得到H_a^k×d，其中k表示属性数量；

将商品标题通过GPT2得到文本表征H_t^l×d，其中l表示标题长度；

将步骤2中得到的所有特征向量拼接到不同位置上H＝[H_i；H_a；H_t]，[]表示拼接操作，假设当前已经生成的文本状态为X∈R^n×d，其中n表示已经生成的词语数量，则K＝V＝[H；X]，Q＝X，从A的概率分布中采样生成下一个词语；

将步骤3生成的文本做进一步后处理还原出常规文本，具体操作为将生成文本中的特殊标记符，通过商品属性查表将特殊标记符替换为对应的属性值。