[发明专利]一种基于层次化transformer的个性化商品评论摘要生成方法

权利要求书

1.一种基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述方法包括如下步骤：

步骤一：选取数据集，对数据进行预处理后切分数据为训练集、验证集和测试集；

步骤二：学习商品评论中每个单词的向量表示和位置表示，将这两者相加后作为商品评论中每个单词的表示，然后将这些表示拼接得到商品评论表示；基于相同方法得到商品摘要表示、商品历史摘要表示以及用户历史摘要表示；所述用户历史摘要表示中还包含时序表示；

步骤三：根据用户ID得到用户表示；根据商品ID得到商品表示；

步骤四：利用transformer的编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要表示分别进行建模，并针对用户历史摘要表示使用用户表示指导的注意力机制来获得用户的短期表示；针对商品历史摘要表示使用商品表示指导的注意力机制获得商品的历史表示，将用户表示u、用户短期表示u^H、商品表示p、商品历史表示p^H以及评论表示R_L进行拼接，利用另一个transformer编码器来建模这五种表示之间的相互作用，最后利用transformer解码器解码生成摘要；

所述步骤四中，利用transformer编码器对商品摘要表示、商品历史摘要表示以及用户历史摘要分别表示进行编码；用户历史摘要表示U的具体计算过程包括以下步骤：

c1.多头注意力机制：

MH(U)＝MLP([H₁(U)；…；H_M(U)]^T)

c2.相加层归一化：

U′＝LN(U+MH(U))

c3.前馈神经网络：

FFN(U′)＝ReLU(U′W₁+b₁)W₂+b₂

c4.相加层归一化：

U₁＝LN(U+FFN(U′))

其中，M是多头的个数，m∈{1,...,M}，MLP表示的是多层感知机，LN表示层归一化，都是模型可学习的参数；将transformer编码器堆叠L次之后可以得到用户历史摘要表示U_L，同理可以得到商品评论表示R_L、商品摘要表示S_L和商品历史摘要表示P_L；

所述步骤四中，将用户表示u、用户短期表示u^H、商品表示p、商品历史表示p^H以及评论表示R_L进行拼接，利用另一个transformer编码器来建模这五种表示之间的相互作用，包括以下步骤：

d1.将上述5种表示进行拼接：

E＝[u；u^H；p；p^H；R_L]

其中，[；]表示向量拼接；

d2.对拼接后的表示E按照c1-c4的步骤进行计算得到E₁，将transformer编码器堆叠L次之后得到E_L；

步骤五：利用训练集学习模型的参数并利用验证集进行参数调优；

步骤六：利用基于层次化transformer的网络模型对测试集生成相应的商品评论摘要。

2.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述用户历史摘要是书写当前评论的用户近期所写的评论对应的摘要，即按照时间顺序由近及远选取的与当前时间间隔最短的k条评论所对应的摘要；所述商品历史摘要是当前评论所对应的商品的历史评论中与当前评论最相似的评论所对应的摘要，即依据当前评论所对应的商品的历史评论的向量表示选取与当前评论的向量表示的余弦相似度分数最高的k条评论所对应的摘要。

3.根据权利要求1所述的基于层次化transformer的个性化商品评论摘要生成方法，其特征在于，所述步骤一中，所述数据集采用的公开数据集；所述公开数据集为Amazon评论数据集。