[发明专利]自然语言生成训练方法和装置

权利要求书

1.一种自然语言生成训练方法，包括：

通过k中心聚类算法从训练数据中提取控制向量；

将所述训练数据中的每个序列表示为语言模型的单词嵌入；

基于所述单词嵌入的平均值计算每个序列的句子嵌入；

利用所述句子嵌入进行k中心聚类，将单词序列划分为k个组，其中，k个组的k均值中心被认定为是控制向量；

将所述训练数据和所提取的控制向量输入至语言模型中；

使用句子级别标准训练所述语言模型。

2.根据权利要求1所述的方法，所述将所述训练数据和所提取的控制向量输入至语言模型中包括：

枚举控制向量以获得不同结果；

通过打分器从所述不同结果中选取最好的生成结果输入至所述语言模型中。

3.根据权利要求1所述的方法，其中，所述将所述训练数据和所提取的控制向量输入至语言模型中还包括：

将所述控制向量与所述单词嵌入一起作为所述语言模型的输入。

4.根据权利要求1-3中任一项所述的方法，其中，所述句子级别标准为BLEU。

5.根据权利要求4所述的方法，其中，所述使用句子级别标准训练所述语言模型包括：

使用策略梯度算法通过BLEU误差训练所述语言模型。

6.一种自然语言生成训练装置，包括：

K中心聚类模块，配置为通过k中心聚类算法从训练数据中提取控制向量，将所述训练数据中的每个序列表示为语言模型的单词嵌入；基于所述单词嵌入的平均值计算每个序列的句子嵌入；利用所述句子嵌入进行k中心聚类，将单词序列划分为k个组，其中，k个组的k均值中心被认定为是控制向量；

输入模块，配置为将所述训练数据和所提取的控制向量输入至语言模型中；

训练模块，配置为使用句子级别标准训练所述语言模型。

7.根据权利要求6所述的装置，所述输入模块进一步配置为：

枚举控制向量以获得不同结果；

通过打分器从所述不同结果中选取最好的生成结果输入至所述语言模型中。

8.一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行权利要求1至5中任一项所述方法的步骤。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5任一项所述方法的步骤。