[发明专利]语言模型的训练方法、装置和电子设备

权利要求书

1.一种语言模型的训练方法，包括：

采用语义解析模块获取样本文本对应的文法和所述文法中槽位对应的槽值；

根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；

根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；

根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次；以及

根据所述文法频次进行语言模型的训练；

所述根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次，包括：

计算所述文法图中相邻N个所述槽位的槽值对应的权重的乘积，得到第一乘积值；

计算所述第一乘积值与所述文法图中除所述相邻N个所述槽位之外的其他槽位的权重的乘积，得到第二乘积值；

计算所述第二乘积值和所述文法图中所述文法的权重的乘积，得到第三乘积值；以及

计算不同文法图对应的所述第三乘积值的和值，得到N阶的文法频次。

2.根据权利要求1所述的训练方法，所述语义解析模块为自然语言理解语义解析模块。

3.根据权利要求1所述的训练方法，所述根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重，包括：

将所述样本文本灌入所述文法图，并记录所述文法图中被激活的路径；以及

根据所述文法图中被激活的路径获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。

4.根据权利要求1所述的训练方法，所述根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图，包括：

将所述文法中的所述槽位依次有向连接；以及

根据所述槽位对应的槽值对所述槽位进行扩展，得到所述文法对应的文法图。

5.根据权利要求1所述的训练方法，所述根据所述文法频次进行语言模型的训练，包括：

对超过预设的频次阈值的所述文法频次进行降频处理；以及

根据降频处理后的所述文法频次进行语言模型的训练。

6.一种语言模型的训练装置，包括：

语义解析模块，用于获取样本文本对应的文法和所述文法中槽位对应的槽值；

生成模块，用于根据所述文法和所述文法中所述槽位对应的槽值生成所述文法对应的文法图；

第二获取模块，用于根据所述样本文本获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重；

计算模块，用于根据所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重计算不同阶的文法频次；以及

训练模块，用于根据所述文法频次进行语言模型的训练；

所述计算模块，包括：

第一计算单元，用于计算所述文法图中相邻N个所述槽位的槽值对应的权重的乘积，得到第一乘积值；

第二计算单元，用于计算所述第一乘积值与所述文法图中除所述相邻N个所述槽位之外的其他槽位的权重的乘积，得到第二乘积值；

第三计算单元，用于计算所述第二乘积值和所述文法图中所述文法的权重的乘积，得到第三乘积值；以及

第四计算单元，用于计算不同文法图对应的所述第三乘积值的和值，得到N阶的文法频次。

7.根据权利要求6所述的训练装置，所述语义解析模块为自然语言理解语义解析模块。

8.根据权利要求6所述的训练装置，所述第二获取模块，包括：

灌入单元，用于将所述样本文本灌入所述文法图，并记录所述文法图中被激活的路径；以及

获取单元，用于根据所述文法图中被激活的路径获取所述文法图中所述文法的权重、所述槽位的权重和所述槽值的权重。

9.根据权利要求6所述的训练装置，所述生成模块，包括：

连接单元，用于将所述文法中的所述槽位依次有向连接；以及

扩展单元，用于根据所述槽位对应的槽值对所述槽位进行扩展，得到所述文法对应的文法图。