[发明专利]基于编解码的评语生成方法、装置、设备和存储介质

权利要求书

1.基于编解码的评语生成方法，其特征在于，包括：

接收初始点评项对应的文字语料；

对所述文字语料中的语句进行分类，确定至少一种点评类别及其对应的语句；

将每种点评类别对应的语句按设定格式分别输入文本生成模型进行文本预测，输出每种点评类别对应的点评句子，所述文本生成模型预先基于编解码训练得到；

将所述点评句子按所述点评类别的排序进行整合，生成所述初始点评项对应的评语。

2.根据权利要求1所述的方法，其特征在于，所述文本生成模型通过以下步骤训练得到：

生成初始文本生成模型，所述初始文本生成模型包括编码器和解码器；

根据训练点评项以及所述训练点评项对应的目标训练评语的词掩码结果确定训练样本，基于多个训练样本生成训练集，同一个所述训练样本中的所述训练点评项中的语句属于相同的点评类别；

将所述训练集输入所述初始文本生成模型进行模型训练；

当训练得到的中间模型的模型损失不再下降时，将该中间模型作为文本生成模型，所述模型损失通过所述中间模型对应的目标训练评语和生成的评语计算得到。

3.根据权利要求2所述的方法，其特征在于，所述根据训练点评项以及所述训练点评项对应的目标训练评语的词掩码结果确定训练样本，包括：

计算所述训练点评项以及所述训练点评项对应的目标训练评语的词掩码的字向量、句子位置编码、字位置编码和点评项位置编码；

叠加对应的字向量、句子位置编码、字位置编码和点评项位置编码，得到所述训练点评项的样本内容，以及所述训练点评项对应的目标训练评语的词掩码的样本内容；

将所述样本内容按所述设定格式组织得到训练样本。

4.根据权利要求3所述的方法，其特征在于，所述编码器的transformer模块的自注意力机制采用掩码处理。

5.根据权利要求4所述的方法，其特征在于，所述transformer模块包括自注意力矩阵和掩码矩阵，所述掩码矩阵的大小与所述自注意力矩阵相同；所述掩码矩阵的行列均为点评项与评语句子的拼接，所述掩码矩阵中将所述点评项所在的行与所述评语句子所在的列构成的小矩阵中的参数预设为趋近于负无穷的数，并将所述评语句子所在的行与所述评语句子所在的列构成的小矩阵预设为上三角矩阵，其中非零参数预设为趋近于负无穷的数。

6.根据权利要求5所述的方法，其特征在于，所述掩码处理通过以下公式实现：

Q＝K＝V∈R^n×d

n＝len(S1)+len(S2)+3

其中，Q、K和V均表示单个训练样本对应的编码；M表示掩码矩阵，M∈R^n×n，n表示输入长度，len(S1)表示所述训练点评项的样本内容的长度，len(S2)表示所述训练点评项对应的目标训练评语的词掩码的样本内容，d表示每个字符的向量维度，d_k表示K的字符向量维度。

7.根据权利要求5或6所述的方法，其特征在于，所述掩码矩阵具体为：

其中，-inf表示一个趋近负无穷的数。

8.根据权利要求1所述的方法，其特征在于，所述每种点评类别对应的点评句子在所述设定格式中初始化为零向量。

9.基于编解码的评语生成装置，其特征在于，包括：

语料接收单元，用于接收初始点评项对应的文字语料；

语句分类单元，用于对所述文字语料中的语句进行分类，确定至少一种点评类别及其对应的语句；

分类预测单元，用于将每种点评类别对应的语句按设定格式分别输入文本生成模型进行文本预测，输出每种点评类别对应的点评句子，所述文本生成模型预先基于编解码训练得到；

句子整合单元，用于将所述点评句子按所述点评类别的排序进行整合，生成所述初始点评项对应的评语。