[发明专利]一种语言模型的训练方法、样本数据的构建方法及装置

权利要求书

1.一种语言模型的训练方法，其特征在于，包括：

获取语句样本数据集，所述语句样本数据集中的语句样本分别包含文本标签部分，所述文本标签用于表征对应的语句样本的类别；

以预定的方式对所述语句样本中除所述文本标签外的其他部分进行破坏处理；

将破坏处理后的语句样本输入至语言模型中，获得预测结果；

基于所述预测结果和所述语句样本，确定是否满足预设的收敛条件；

若不满足预设的收敛条件，则对所述语言模型进行参数调整，并基于参数调整后的语言模型进行下一轮的训练，直到满足所述预设的收敛条件，得到目标语言模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取初始语句样本，所述初始语句样本包含对应的符号标签，所述符号标签用于表征对应的初始语句样本的类别；

将所述符号标签转换为文本标签，并将所述文本标签嵌入至所述初始语句样本中的预设位置，得到语句样本。

3.根据权利要求2所述的方法，其特征在于，所述将所述文本标签嵌入至所述初始语句样本中的预设位置，得到语句样本，包括：

将所述文本标签和预设符号进行组合，得到组合标签；

将所述组合标签嵌入至所述初始语句样本中的预设位置，得到语句样本。

4.一种样本数据的构建方法，其特征在于，包括：

获取第一目标语句样本；

将所述第一目标语句样本对应的第一标签修改为第二标签，得到包含所述第二标签的第二目标语句样本，其中，所述第二标签为嵌入所述第二目标语句样本的预设位置的文本标签，所述第一标签和所述第二标签均用于表征所述第一目标语句样本的类别，且所述第二标签与所述第一标签表征的所述类别不同；

对所述第二目标语句样本中除所述第二标签外的其他部分进行破坏处理，将破坏处理后的所述第二目标语句样本输入至目标语言模型中，以通过所述目标语言模型得到恢复的目标语句，将所述目标语句作为所述第一目标语句样本对应的扩展语句样本。

5.根据权利要求4所述的方法，其特征在于，所述第一目标语句样本为包含第一标签的语句样本，所述第一标签位于所述第一目标语句样本的预设位置。

6.根据权利要求4所述的方法，其特征在于，对所述第二目标语句样本中除所述第二标签外的其他部分进行破坏处理，包括：

针对所述第二目标语句样本中除所述第二标签外的其他部分，通过词性标注解析法，获得所述第二目标语句样本中除所述第二标签外的其他部分中各分词地方词性；

结合所述第二目标语句样本各分词的词性，对所述第二目标语句样本中属于目标词性的部分分词进行掩码遮挡处理，得到破坏处理后的第二目标语句样本。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取当前的语句场景；

根据语句场景确定所述目标词性。

8.根据权利要求4所述的方法，其特征在于，将所述第一目标语句样本对应的第一标签修改为第二标签，得到包含所述第二标签的第二目标语句样本，包括：

所述第一目标语句样本对应的第一标签修改为第二标签；

将所述第二标签与预设符号进行组合，得到组合标签；

将所述第二组合标签嵌入所述第一目标语句样本中的预设位置，得到第二目标语句样本。

9.根据权利要求4所述的方法，其特征在于，所述第二标签与所述第一标签的词性相反。

10.根据权利要求9所述的方法，其特征在于，所述目标语句为所述第一目标语句对应的难负样本。