[发明专利]文本生成模型训练方法和装置、文本生成方法和装置

权利要求书

1.一种文本生成模型训练方法，所述方法包括：

从预先构建的文本样本集中选取文本样本；

将所述文本样本输入预先构建的文本生成网络，得到所述文本生成网络输出的预测结果；

基于所述预测结果，分别计算字粒度的语义相关损失和句粒度的匹配程度损失，所述语义相关损失用于表征所述预测结果与所述文本样本的真值在字级别的相似程度，所述匹配程度损失用于表征所述预设结果与所述文本样本的真值在句级别的匹配程度；

基于所述语义相关损失和所述匹配程度损失，计算所述文本生成网络的损失；

基于所述文本生成网络的损失，训练得到对应所述文本生成网络的文本生成模型。

2.根据权利要求1所述的方法，其中，所述基于所述语义相关损失和所述匹配程度损失，计算所述文本生成网络的损失，包括：

基于所述预测结果，计算字粒度的交叉熵损失；

将所述交叉熵损失、所述语义相关损失以及所述匹配程度损失进行加权求和，得到所述文本生成网络的损失。

3.根据权利要求1所述的方法，其中，所述文本生成网络包括：依次连接的编码器和尾部解码器；所述文本样本包括：文字序列和文字序列的真值，所述将所述文本样本输入预先构建的文本生成网络，得到所述文本生成网络输出的预测结果，包括：

将所述文字序列输入所述编码器，得到所述编码器输出的编码输出值；

将所述真值和所述编码输出值输入所述解码器，得到所述编码器输出的预测结果。

4.根据权利要求3所述的方法，其中，所述文本生成网络还包括：中间解码器，所述中间解码器连接在所述编码器和所述尾部编码器之间；所述将所述文本样本输入预先构建的文本生成网络，得到所述文本生成网络输出的预测结果，还包括：

将所述编码输出值和所述真值输入所述中间编码器，得到所述中间解码器输出的中间输出值；

基于所述文本生成网络的当前训练迭代次数，选取所述中间输出值或所述真值，得到选取值；

将所述选取值和所述编码输出值输入所述尾部解码器，得到所述尾部编码器输出的预测结果。

5.根据权利要求4所述的方法，其中，所述基于所述文本生成网络的当前训练迭代次数，选取所述中间输出值或所述真值，得到选取值，包括：

确定所述文本生成网络的当前训练迭代次数；

将当前训练迭代次数输入采样概率公式，得到概率值；

基于所述概率值，选取所述中间输出值或所述真值，得到选取值。

6.根据权利要求5所述的方法，其中，所述概率值为选取所述真值的采样概率，所述采样概率公式是与所述文本生成网络的训练迭代次数相关的概率值生成公式，在所述采样概率公式中，所述概率值与所述训练迭代次数呈反比。

7.一种文本生成方法，所述方法包括：

获取待处理素材；

对所述待处理素材进行处理，得到待处理文本数据；

将所述待处理文本数据输入采用权利要求1-6任一项所述的方法生成的文本生成模型中，得到所述文本生成模型输出的所述待处理文本数据的文本生成结果。

8.根据权利要求7所述的方法，其中，所述文本生成结果包括所述待处理文本数据的标题、摘要以及标签中的至少一项。