[发明专利]文本语料筛选方法、装置、电子设备及存储介质

说明书

本申请公开了文本语料筛选方法、装置、电子设备及存储介质，涉及自然语言处理、计算机视觉及深度学习领域，其中的方法可包括：获取由各单字组成的词典及第一文本语料集；从第一文本语料集中随机选出部分文本语料，加入第二文本语料集，并执行以下预定处理：从词典中选出在第二文本语料集中出现频率最低的N个单字，作为低频字；按照增大低频字在第二文本语料集中的出现频率的原则，从第一文本语料集中选出部分文本语料，加入到第二文本语料集，并重复执行所述预定处理；其中，当符合预定的终止条件时，将第二文本语料集中的文本语料作为筛选出的文本语料。应用本申请所述方案，可有效平衡不同单字在筛选出的文本语料中的出现频率等。

技术领域

本申请涉及计算机应用技术，特别涉及自然语言处理、计算机视觉及深度学习领域的文本语料筛选方法、装置、电子设备及存储介质。

背景技术

光学字符识别（OCR，Optical Character Recognition）是一项可以将图片信息转换为更易编辑和存储的文本信息的技术，目前已得到了广泛的应用，如用于车牌识别、银行卡信息识别、身份证信息识别、火车票信息识别等，此外，在视频场景中，可用于进行字幕自动翻译、内容安全监控等。

为提升OCR模型的性能，需要大量的训练数据，然而开源的数据量有限，且大多以英文为主，而且文本数据的标记成本很高，因此在实际应用中，经常会利用图片和文本语料来合成所需的训练数据。

现有的合成方式中，主要关注图片信息，如在合成图片上添加噪声、进行颜色反转等操作，对文本语料的关注较少，对文本语料的选取比较随机，从而很可能造成不同单字的出现频率差异较大，进而影响模型的训练效果等。

发明内容

本申请提供了文本语料筛选方法、装置、电子设备及存储介质。

一种文本语料筛选方法，包括：

获取由各单字组成的词典及由各文本语料组成的第一文本语料集；

从所述第一文本语料集中随机选出部分文本语料，加入第二文本语料集，并执行以下预定处理：

从所述词典中选出在所述第二文本语料集中出现频率最低的N个单字，作为低频字，N为正整数；

按照增大所述低频字在所述第二文本语料集中的出现频率的原则，从所述第一文本语料集中选出部分文本语料，加入到所述第二文本语料集，并重复执行所述预定处理；

其中，当符合预定的终止条件时，将所述第二文本语料集中的文本语料作为筛选出的文本语料。

一种文本语料筛选装置，包括：获取模块以及筛选模块；

所述获取模块，用于获取由各单字组成的词典及由各文本语料组成的第一文本语料集；

所述筛选模块，用于从所述第一文本语料集中随机选出部分文本语料，加入第二文本语料集，并执行以下预定处理：从所述词典中选出在所述第二文本语料集中出现频率最低的N个单字，作为低频字，N为正整数；按照增大所述低频字在所述第二文本语料集中的出现频率的原则，从所述第一文本语料集中选出部分文本语料，加入到所述第二文本语料集，并重复执行所述预定处理；其中，当符合预定的终止条件时，将所述第二文本语料集中的文本语料作为筛选出的文本语料。

一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如以上所述的方法。