[发明专利]语言模型的训练及分词预测方法和装置、语言模型

说明书

本说明书实施例提供一种语言模型的训练及分词预测方法和装置、语言模型，采用分词及其笔画集合来训练语言模型以及预测目标分词，由于提取出分词级以及笔画级的特征，特征粒度更小，因此，训练出的语言模型准确度较高，预测目标分词的准确性也越高。

技术领域

本说明书涉及人工智能技术领域，尤其涉及语言模型的训练及分词预测方法和装置、语言模型。

背景技术

通俗地说，语言模型的作用就是判定计算机生成的一个句子有多类似人类语言。语言模型有非常广泛的应用，比如在问答系统中，通过语言模型可以自动生成答语，并使得生成的答语除了能够准确回答问题外，表达也尽可能地类似人类语言。因此，有必要对语言模型进行改进，以提高语言模型的准确性。

发明内容

基于此，本说明书实施例提供了语言模型的训练及分词预测方法和装置、语言模型。

根据本说明书实施例的第一方面，提供一种语言模型的训练方法，所述方法包括：

获取训练文本；

分别获取所述训练文本中各个第一分词的第一笔画集合，其中，所述第一笔画集合中包括所述第一分词中各个字符的第一笔画编码；

将所述第一分词及其第一笔画编码作为所述语言模型的输入，将所述训练文本中位于所述第一分词之后的至少一个其他第一分词作为所述语言模型的输出，以训练所述语言模型。

应用本说明书实施例方案，从训练文本中获取第一分词以及各个第一分词的笔画集合，然后根据第一分词及其笔画集合共同训练语言模型，能够从训练文本中提取出分词级以及笔画级的特征，提取到的特征粒度更小，因此，根据上述特征训练得到的语言模型能够更加有效地提取出文本特征，从而提高语言模型的准确性。

根据本说明书实施例的第二方面，提供一种分词预测方法，所述方法包括：

获取第二分词及其第二笔画集合；其中，所述第二笔画集合中包括所述第二分词中各个字符的第二笔画编码；

将所述第二分词及其第二笔画编码输入预先训练的语言模型，以预测所述第二分词之后的至少一个目标分词。

应用本说明书实施例方案，将第二分词以及各个第二分词的笔画集合共同输入到预先训练的语言模型来预测所述第二分词之后的至少一个目标分词，能够在预测时提取出分词级以及笔画级的特征，提取到的特征粒度更小，因此，根据上述特征能够更加有效地提取出文本特征，从而提高语言模型的预测准确性。

根据本说明书实施例的第三方面，提供一种语言模型，所述语言模型包括：

依次相连的第一机器学习模型、第二机器学习模型和第三机器学习模型；

所述第一机器学习模型用于输入第二分词的第二笔画集合；其中，所述第二笔画集合中包括所述第二分词中各个字符的第二笔画编码；

所述第二机器学习模型用于输入所述第二分词；

所述第三机器学习模型用于对所述第二分词之后的至少一个目标分词进行预测。

应用本说明书实施例方案，将第二分词以及各个第二分词的笔画集合共同输入到预先训练的语言模型来预测所述第二分词之后的至少一个目标分词，能够在预测时提取出分词级以及笔画级的特征，提取到的特征粒度更小，因此，根据上述特征能够更加有效地提取出文本特征，从而提高语言模型的预测准确性。

根据本说明书实施例的第四方面，提供一种语言模型的训练装置，所述装置包括：

第一获取模块，用于获取训练文本；

第二获取模块，用于分别获取所述训练文本中各个第一分词的第一笔画集合，其中，所述第一笔画集合中包括所述第一分词中各个字符的第一笔画编码；