[发明专利]文本语料筛选方法、装置、电子设备及存储介质

权利要求书

1.一种文本语料筛选方法，包括：

获取由各单字组成的词典及由各文本语料组成的第一文本语料集；

从所述第一文本语料集中随机选出部分文本语料，加入第二文本语料集，并执行以下预定处理：

从所述词典中选出在所述第二文本语料集中出现频率最低的N个单字，作为低频字，N为正整数；

按照增大所述低频字在所述第二文本语料集中的出现频率的原则，从所述第一文本语料集中选出部分文本语料，包括：从所述第一文本语料集中选出预定数量的至少包含一个所述低频字的文本语料，所述预定数量小于所述第一文本语料集中包含的文本语料数量，并且，优先从所述第一文本语料集中选出之前没有被选出过的文本语料；将选出的文本语料加入到所述第二文本语料集，并重复执行所述预定处理；

其中，当符合预定的终止条件时，将所述第二文本语料集中的文本语料作为筛选出的文本语料。

2.根据权利要求1所述的方法，其中，所述从所述词典中选出在所述第二文本语料集中出现频率最低的N个单字，作为低频字包括：

分别确定出所述词典中的各单字在所述第二文本语料集中的出现频率；

按照出现频率由高到低的顺序对各单字进行排序；

选出排序后处于最后N位的单字，作为所述低频字。

3.根据权利要求2所述的方法，其中，所述分别确定出所述词典中的各单字在所述第二文本语料集中的出现频率包括：

确定出所述第二文本语料集中包含的总字数；

针对任一单字，分别确定出所述单字在所述第二文本语料集中包含的各字中的出现次数，将所述出现次数与所述总字数的比值作为所述单字在所述第二文本语料集中的出现频率。

4.根据权利要求2所述的方法，其中，所述符合预定的终止条件包括：排序后处于最后一位的单字的出现频率与排序后处于第一位的单字的出现频率的比值大于或等于预定阈值。

5.一种文本语料筛选装置，包括：获取模块以及筛选模块；

所述获取模块，用于获取由各单字组成的词典及由各文本语料组成的第一文本语料集；

所述筛选模块，用于从所述第一文本语料集中随机选出部分文本语料，加入第二文本语料集，并执行以下预定处理：从所述词典中选出在所述第二文本语料集中出现频率最低的N个单字，作为低频字，N为正整数；按照增大所述低频字在所述第二文本语料集中的出现频率的原则，从所述第一文本语料集中选出部分文本语料，包括：从所述第一文本语料集中选出预定数量的至少包含一个所述低频字的文本语料，所述预定数量小于所述第一文本语料集中包含的文本语料数量，并且，优先从所述第一文本语料集中选出之前没有被选出过的文本语料，将选出的文本语料加入到所述第二文本语料集，并重复执行所述预定处理；其中，当符合预定的终止条件时，将所述第二文本语料集中的文本语料作为筛选出的文本语料。

6.根据权利要求5所述的装置，其中，所述筛选模块分别确定出所述词典中的各单字在所述第二文本语料集中的出现频率，按照出现频率由高到低的顺序对各单字进行排序，选出排序后处于最后N位的单字，作为所述低频字。

7.根据权利要求6所述的装置，其中，所述筛选模块确定出所述第二文本语料集中包含的总字数，针对任一单字，分别确定出所述单字在所述第二文本语料集中包含的各字中的出现次数，将所述出现次数与所述总字数的比值作为所述单字在所述第二文本语料集中的出现频率。

8.根据权利要求6所述的装置，其中，所述符合预定的终止条件包括：排序后处于最后一位的单字的出现频率与排序后处于第一位的单字的出现频率的比值大于或等于预定阈值。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-4中任一项所述的方法。