[发明专利]文本语料处理方法、装置、设备及存储介质

权利要求书

1.一种文本语料处理方法，其特征在于，所述方法包括：

获取多条文本语料；

按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，每个文本语料分组包括至少一条文本语料，所述最大保留数量为大于1的整数；

对划分得到的多个文本语料分组分别进行去重处理；

将去重处理后的所述多个文本语料分组进行合并。

2.根据权利要求1所述的方法，其特征在于，所述按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，包括：

按照所述重复语料的最大保留数量，建立所述最大保留数量个语料文件；

将所述多条文本语料随机写入所述最大保留数量个语料文件中。

3.根据权利要求2所述的方法，其特征在于，所述将所述多条文本语料随机写入所述最大保留数量个语料文件中，包括：

对于每一条文本语料，随机生成不大于所述最大保留数量的正整数；

将所述一条文本语料写入编号为所述正整数的语料文件中。

4.根据权利要求1所述的方法，其特征在于，所述对划分得到的多个文本语料分组分别进行去重处理，包括：

逐行读取每一个文本语料分组中的每一条文本语料，若与所述一个文本语料分组对应的参考集合中不存在与所述一条文本语料相同的文本语料，则将所述一条文本语料保存至所述参考集合。

5.根据权利要求1所述的方法，其特征在于，所述多个文本语料分组中的每一个文本语料分组包括多行，每行中包括一条文本语料，所述对划分得到的多个文本语料分组分别进行去重处理，包括：

对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行；

将所述每一个文本语料分组中重复的行删除。

6.根据权利要求5所述的方法，其特征在于，所述对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行，包括：

通过排序命令Linux sort对所述每一个文本语料分组中的多条文本语料进行排序，以使相同的文本语料位于相邻的行；

所述将所述每一个文本语料分组中重复的行删除，包括：

通过去重命令Linux uniq，将所述每一个文本语料分组中重复的行删除。

7.一种文本语料处理装置，其特征在于，所述装置包括：

语料获取模块，被配置为获取多条文本语料；

语料分组模块，被配置为按照重复语料的最大保留数量，将所述多条文本语料随机划分为所述最大保留数量个文本语料分组，每个文本语料分组包括至少一条文本语料，所述最大保留数量为大于1的整数；

去重处理模块，被配置为对划分得到的多个文本语料分组分别进行去重处理；

语料合并模块，被配置为将去重处理后的所述多个文本语料分组进行合并。

8.根据权利要求7所述的装置，其特征在于，所述语料分组模块，包括：

文件建立单元，被配置为按照所述重复语料的最大保留数量，建立所述最大保留数量个语料文件；

语料写入单元，被配置为将所述多条文本语料随机写入所述最大保留数量个语料文件中。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述程序代码由所述处理器加载并执行以实现如权利要求1至权利要求6任一项所述的文本语料处理方法所执行的操作。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的文本语料处理方法所执行的操作。