[发明专利]数据处理的方法与装置

权利要求书

1.一种数据处理的方法，其特征在于，包括：

确定原始文本样本，所述原始文本样本未进行掩码处理；

对所述原始文本样本进行掩码处理，获得掩码训练样本，所述掩码处理使得所述掩码训练样本的掩码比例不固定，所述掩码训练样本用于训练预训练语言模型PLM；

所述掩码训练样本的掩码比例包括：

文本级别掩码比例，用于表示一个样本中被掩码处理的字占该样本中所有字的比例；和/或

字级别掩码比例，用于表示一个字被掩码处理的概率；

其中，所述掩码训练样本的掩码比例不固定包括：

所述掩码训练样本中不同样本的文本级别掩码比例不完全相同；和/或

所述掩码训练样本中任一个样本中每个字的字级别掩码比例不完全相同。

2.根据权利要求1所述的方法，其特征在于，所述对所述原始文本样本进行掩码处理，获得掩码训练样本，包括：

使用先验概率分布模型，生成所述原始文本样本中每个样本的文本级别掩码比例，所述先验概率分布模型使得所述原始文本样本中不同样本的文本级别掩码比例不完全相同；

按照所述原始文本样本中每个样本的文本级别掩码比例，对相应样本进行掩码处理，获得所述掩码训练样本。

3.根据权利要求2所述的方法，其特征在于，所述先验概率分布模型的概率值区间长度不小于40%。

4.根据权利要求1所述的方法，其特征在于，所述对所述原始文本样本进行掩码处理，获得掩码训练样本，包括：

获取所述原始文本样本中的第一文本样本中每个字的字级别掩码比例，所述第一文本样本中不同字的字级别掩码比例不完全相同；

根据所述第一文本样本中各个字的字级别掩码比例，对所述第一文本样本中的部分字进行掩码处理，获得所述掩码训练样本中的第一训练样本。

5.根据权利要求4所述的方法，其特征在于，所述获取所述原始文本样本中的第一文本样本中每个字的字级别掩码比例，包括：

使用先验概率分布模型，生成所述第一文本样本中每个字的字级别掩码比例，所述先验概率分布模型使得所述第一文本样本中不同字的字级别掩码比例不完全相同。

6.根据权利要求4所述的方法，其特征在于，所述获取所述原始文本样本中的第一文本样本中每个字的字级别掩码比例，包括：

将所述第一文本样本输入神经网络模型，从所述神经网络模型的输出获得所述第一文本样本中每个字的字级别掩码比例，其中，所述神经网络模型通过如下步骤进行优化学习得到，其中，i的初始取值为1：

1），将所述原始文本样本中第i个样本输入所述神经网络模型，从所述神经网络模型的输出获得所述第i个样本中每个字的字级别掩码比例；

2），根据所述第i个样本中各个字的字级别掩码比例，对所述第i个样本中的部分字进行掩码处理，获得所述第i个样本对应的训练样本；

3），将所述第i个样本对应的训练样本输入所述PLM，获得所述PLM针对被掩码处理的字的损失值；

4），根据所述PLM针对被掩码处理的字输出的损失值，以及所述神经网络模型针对所述被掩码处理的字的输出信号，更新优化所述神经网络模型；

5），判断所述神经网络模型是否满足收敛条件，若是，转到步骤6），若否，将i的取值加1，转到步骤1）；

6），将所述步骤4）得到的神经网络模型作为优化学习到的所述神经网络模型。

7.根据权利要求6所述的方法，其特征在于，所述步骤3）包括：

利用所述第i个样本对应的训练样本对所述PLM进行一次训练更新；

将所述第i个样本对应的训练样本输入经过所述训练更新的所述PLM，获得经过所述训练更新的所述PLM针对所述被掩码处理的字输出的损失值；

其中，所述步骤4）包括：根据经过所述训练更新的所述PLM针对所述被掩码处理的字输出的损失值，以及所述神经网络模型针对所述被掩码处理的字的输出信号，更新优化所述神经网络模型。