[发明专利]文本处理方法、装置、计算机设备及存储介质

权利要求书

1.一种文本处理方法，其特征在于，所述方法包括：

获取多个样本文本和多个参考长度，所述多个参考长度不同；

将对应于同一参考长度的样本文本构成样本集合，所述样本文本对应的参考长度是：不小于所述样本文本的长度、且在所述多个参考长度中与所述样本文本的长度最接近的参考长度；

将每个样本集合中，小于所述样本集合对应的参考长度的样本文本填充至所述样本集合对应的参考长度；

通过多个处理节点中的每个所述处理节点，基于分配到的样本集合，并行训练文本处理模型，所述文本处理模型用于对任一文本进行处理。

2.根据权利要求1所述的方法，其特征在于，所述文本处理模型包括每个所述处理节点对应的文本处理子模型，所述通过多个处理节点中的每个所述处理节点，基于分配到的样本集合，并行训练文本处理模型，包括：

对于每个所述处理节点，将分配到的样本集合中的多个样本文本拼接成文本矩阵，所述文本矩阵的行数等于所述多个样本文本的数量，所述文本矩阵的列数等于所述样本集合对应的参考长度，或者所述行数等于所述样本集合对应的参考长度，所述列数等于所述多个样本文本的数量；

基于所述文本矩阵，训练所述处理节点对应的文本处理子模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述文本矩阵，训练所述处理节点对应的文本处理子模型之后，所述方法还包括：

对所述文本矩阵中的多个样本文本的排列顺序进行调整，得到调整后的文本矩阵；

基于所述调整后的文本矩阵，继续训练所述处理节点对应的文本处理子模型。

4.根据权利要求1所述的方法，其特征在于，所述文本处理模型包括每个所述处理节点对应的文本处理子模型，所述通过多个处理节点中的每个所述处理节点，基于分配到的样本集合，并行训练文本处理模型，包括：

对于每个所述处理节点，将分配到的样本集合中的多个样本文本中至少一个位置上的原始字符替换为目标字符；

调用所述处理节点对应的文本处理子模型，基于替换后的多个样本文本进行预测，得到所述至少一个位置上的预测字符；

基于所述至少一个位置上的原始字符和预测字符，训练所述处理节点对应的文本处理子模型。

5.根据权利要求4所述的方法，其特征在于，所述调用所述处理节点对应的文本处理子模型，基于替换后的多个样本文本进行预测，得到所述至少一个位置上的预测字符，包括：

调用所述处理节点对应的文本处理子模型，对替换后的多个样本文本进行特征提取，得到替换后的多个样本文本中每个位置上的字符对应的字符特征；

在得到的多个字符特征中，获取所述至少一个位置上的目标字符对应的字符特征；

基于所述至少一个位置上的目标字符对应的字符特征进行预测，得到所述至少一个位置上的预测字符。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述文本处理模型包括每个所述处理节点对应的文本处理子模型，所述通过多个处理节点中的每个所述处理节点，基于分配到的样本集合，并行训练文本处理模型，包括：

通过每个所述处理节点，基于分配到的样本集合，训练各自对应的文本处理子模型；

在每个所述处理节点得到各自对应的文本处理子模型的第一更新信息的情况下，基于每个所述处理节点得到的第一更新信息，确定全量更新信息；

通过每个所述处理节点，基于所述全量更新信息，更新各自对应的文本处理子模型。

7.根据权利要求6所述的方法，其特征在于，所述第一更新信息包括梯度矩阵，所述方法还包括：

对于每个所述处理节点：

通过所述处理节点，基于分配到的样本集合，确定所述处理节点对应的文本处理子模型的梯度信息，所述梯度信息包括多个维度中的至少一个维度和所述至少一个维度上的梯度值；

为所述多个维度中未对应有梯度值的维度填充梯度值；

基于所述多个维度以及所述多个维度上的梯度值，构建所述梯度矩阵。