[发明专利]一种语料库生成和调用方法及装置

权利要求书

1.一种语料库生成和调用方法，其特征在于，所述方法包括：

从待处理信息库中确定初始语料，生成初始语料向量，并确定所述初始语料向量的向量类型；其中，所述初始语料为所述待处理信息库中评分大于第一阈值的语料；

根据所述向量类型和所述初始语料向量，生成第一子语料；

采用预设算法对所述待处理信息库中的文本进行分类，并对得到的分类集合中的文本进行筛选，生成第二子语料；其中，所述第二子语料中包括至少一个语料；

基于所述第一子语料和所述第二子语料生成目标语料库。

2.根据权利要求1所述的方法，其特征在于，所述从待处理信息库中确定初始语料，生成初始语料向量，包括：

基于预设路径以及访问权限访问待处理信息库，并从所述待处理信息库中确定出初始语料；

计算出所述初始语料的分词结果；

对所述分词结果进行分析，得到所述分词结果中每一分词对应的词向量；

将分词结果中每一分词对应的词向量进行相乘，生成初始语料向量。

3.根据权利要求2所述的方法，其特征在于，所述计算出所述初始语料的分词结果，包括：

确定所述初始语料是否为全中文；

若是，按照语义将所述初始语料进行词分割，得到分词结果；

若所述初始语料包括中文和英文，将所述初始语料中的中文语料与英文语料进行分割；

对所述中文语料按照中文语义进行切割，以及通过英文语义对所述英文语料进行切割，得到分词结果；

若所述初始语料为全英文，通过英文语义对所述英文语料进行切割，得到分词结果；

若所述初始语料为数字，确定所述初始语料是否为特定字符串；

若是，按照所述特定字符串的定义对所述初始语料进行切割，得到分词结果；

若所述初始语料为非特定字符串，将所述初始语料作为分词结果；或，若所述初始语料为非特定字符串，按照预设规则将所述初始语料进行切割，得到分词结果。

4.根据权利要求3所述的方法，其特征在于，所述特定字符串包括用于表征手机号的第一特定子字符串、用于表征邮编的第二特定子字符串和用于表征区号的第三特定子字符串；

所述确定所述初始语料是否为特定字符串，包括：

获取所述初始语料的前三位数字；

将所述前三位数字分别与所述第一特定子字符串、所述第二特定子字符串和所述第三特定子字符串的前三位数字进行比较；

若所述初始语料的前三位数字与所述第一特定子字符串、所述第二特定子字符串和所述第三特定子字符串中任一字符串的前三位数字匹配，则判定所述初始语料为特定字符串；反之，则判定所述初始语料为非特定字符串。

5.根据权利要求4所述的方法，其特征在于，在所述若所述初始语料的前三位数字与所述第一特定子字符串、所述第二特定子字符串和所述第三特定子字符串中任一字符串的前三位数字匹配之后，所述方法还包括：

若所述初始语料的前三位数字与所述第一特定子字符串匹配，判定所述初始语料的数字位数是否为所述第一特定子字符串的位数的整数倍；

若是，判定所述初始语料与所述第一特定子字符串匹配，判定所述初始语料为特定字符串；

若所述初始语料的数字位数不为所述第一特定子字符串的位数的整数倍，则将所述初始语料的前三位数字与所述第二特定子字符串进行匹配；

若所述初始语料的前三位数字与所述第二特定子字符串匹配，判定所述初始语料的数字位数是否为所述第二特定子字符串的位数的整数倍；

若是，判定所述初始语料与所述第二特定子字符串匹配，判定所述初始语料为特定字符串；

若所述初始语料的前三位数字与所述第二特定子字符串不匹配，则将所述初始语料的前三位数字与所述第三特定子字符串进行匹配；

若所述初始语料的前三位数字与所述第三特定子字符串匹配，判定所述初始语料的数字位数是否为所述第三特定子字符串的位数的整数倍；

若是，判定所述初始语料与所述第三特定子字符串匹配，判定所述初始语料为特定字符串。