[发明专利]语言模型的训练方法、装置及电子设备

权利要求书

1.一种语言模型的训练方法，其特征在于，包括：

获取训练样本；所述训练样本包括中文汉字语料；

对所述训练样本进行预处理，得到预处理后的第一训练数据集；

提取所述第一训练数据集中每个汉字元素的字形特征和字音特征，得到第二训练数据集；其中，所述字形特征基于预设的拆字编码表示，所述字音特征通过拼音表示；

基于所述第二训练数据集对预设的预训练语言模型进行训练，直至满足预设的训练要求，得到训练好的语言模型。

2.根据权利要求1所述的语言模型的训练方法，其特征在于，所述提取所述第一训练数据集中每个汉字元素的字形特征和字音特征，得到第二训练数据集的步骤之后，所述方法还包括：

将所述第二训练数据集中的所述字形特征和字音特征分别与预设的特征向量进行映射，得到字形特征向量和字音特征向量；

将所述字形特征向量和所述字音特征向量保存为第三训练数据集；

基于所述第三训练数据集对所述预设的预训练语言模型进行训练，直至满足预设的训练要求，得到所述训练好的语言模型。

3.根据权利要求2所述的语言模型的训练方法，其特征在于，所述基于所述第三训练数据集对预设的预训练语言模型进行训练，直至满足预设的训练要求，得到所述训练好的语言模型的步骤之前，所述方法还包括：

将所述字形特征向量和所述字音特征向量进行叠加或拼接，得到组合特征向量；

将所述组合特征向量保存为第四训练数据集；

基于所述第四训练数据集对所述预设的预训练语言模型进行训练，直至满足预设的训练要求，得到所述训练好的语言模型。

4.根据权利要求2所述的语言模型的训练方法，其特征在于，将所述第二训练数据集中的所述字音特征与预设的特征向量进行映射，得到所述字音特征向量的步骤，包括：

将所述字音特征基于预设的拼音编码规则，表示为字音编码；

将所述字音编码基于预设的所述特征向量进行映射，得到所述字音特征向量。

5.根据权利要求1所述的语言模型的训练方法，其特征在于，所述对所述训练样本进行预处理，得到预处理后的第一训练数据集的步骤，包括：

通过预设的正则表达式对所述训练样本进行预处理，删除所述训练样本中的空格、特殊字符以及乱码，得到预处理后的所述第一训练数据集。

6.根据权利要求1所述的语言模型的训练方法，其特征在于，所述提取所述第一训练数据集中每个汉字元素的字形特征和字音特征，得到第二训练数据集的步骤，包括：

利用预设的python脚本将所述第一训练数据集划分为预设比例的训练数据集和验证数据集；

提取所述训练数据集和所述验证数据集中每个汉字元素的字形特征和字音特征，得到所述第二训练数据集。

7.根据权利要求6所述的语言模型的训练方法，其特征在于，所述基于所述第二训练数据集对预设的预训练语言模型进行训练，直至满足预设的训练要求，得到训练好的语言模型的步骤，包括：

将所述训练数据集中的所述字形特征和所述字音特征输入所述预设的预训练语言模型中，利用梯度反向传播算法和梯度下降AdamW优化算法进行训练，直至满足预设的中间训练要求，得到中间预训练语言模型；

利用所述验证数据集对所述中间预训练语言模型进行验证，直至满足预设的验证要求，得到所述训练好的语言模型。

8.根据权利要求1所述的语言模型的训练方法，其特征在于，所述基于所述第二训练数据集对预设的预训练语言模型进行训练，直至满足预设的训练要求，得到训练好的语言模型之后，所述方法还包括：

将所述训练好的语言模型的参数保存为二进制格式文件。