[发明专利]自然语言生成模型的训练方法和装置

说明书

本公开涉及一种自然语言生成模型的训练方法和装置，涉及计算机技术领域。该训练方法包括：以各历史时刻的生成词为当前时刻的状态，以当前时刻的生成词的输出为动作，将自然语言生成处理建模为强化学习模型；根据强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数；根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数；根据第一目标函数、第二目标函数的加权平均值，训练强化学习模型。

技术领域

本公开涉及计算机技术领域，特别涉及一种自然语言生成模型的训练方法、自然语言生成模型的训练装置、自然语言的生成方法、自然语言的生成装置和非易失性计算机可读存储介质。

背景技术

近年来AI(Artificial Intelligence，人工智能)技术发展迅猛，其应用遍布人类生产生活的各个领域。NLP(Natural Language Processing，自然语言处理)是人工智能领域的一项重要应用，主要分为自然语言理解和NLG(Natural Language Generation,自然语言生成)两个分支。

自然语言生成是一项融合了人工智能、计算机科学和计算语言学的重要科学技术。它的主要目的是使计算机具有与人相同的表达和写作的功能，即使计算机能够根据一些关键的输入信息，经过一系列的处理、规划过程，来自动生成一段高质量的文本。该技术的应用已经非常广泛，其中最为常见的应用有机器翻译、聊天机器人和语音助手等。

在相关技术中，基于统计机器学习的方法对输入计算机的信息进行建模，从而生成文本。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：自然语言生成模型训练的梯度方差过大，造成模型训练不稳定或者不收敛，从而导致自然语言生成效果差。

鉴于此，本公开提出了一种自然语言生成模型的训练技术方案，能够提高自然语言生成效果。

根据本公开的一些实施例，提供了一种自然语言生成模型的训练方法，包括：以各历史时刻的生成词为当前时刻的状态，以当前时刻的生成词的输出为动作，将自然语言生成处理建模为强化学习模型；根据强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数；根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数；根据第一目标函数、第二目标函数的加权平均值，训练强化学习模型。

在一些实施例中，根据强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数包括：根据各时刻的状态动作函数与其前一时刻的状态动作函数的差异，确定优势函数。

在一些实施例中，确定优势函数包括：根据时刻0～t-1的动作a₀～a_t-1、时刻t的动作a_t，预测时刻t+1～L-1的多种动作组合a_t+1～a_L-1；计算各动作组合a_t+1～a_L-1的奖励值；根据各奖励值的加权平均值，确定t时刻的状态动作函数。

在一些实施例中，根据强化学习模型输出的各时刻的生成词的优势函数，确定第一目标函数包括：利用强化学习模型，输出的各时刻的生成词的生成概率；根据各时刻的生成词的优势函数和生成概率，确定第一目标函数。

在一些实施例中，根据各时刻的标注结果的概率分布与各时刻的生成词的概率分布之间的差异，确定第二目标函数包括：根据各时刻的标注结果与语料库中各词语之间的差异，确定各时刻的先验概率；利用强化学习模型，输出的各时刻的生成词的生成概率；根据各时刻的先验概率与生成概率的差异的加权平均值，确定第二目标函数。

在一些实施例中，根据各时刻的标注结果与语料库中各词语之间的差异，确定各时刻的先验概率包括：根据各时刻的标注结果的词向量与语料库中各词语的向量的相似度，确定各时刻的先验概率。