[发明专利]一种基于跨语言数据增强的分词方法及装置

权利要求书

1.一种基于跨语言数据增强的分词方法，其特征在于，包括：

采集若干组高资源语言数据，根据每一组所述高资源语言数据处理得到一组第一分词语料；若干组第一分词语料构成第一分词语料库；

采集若干低资源语言数据，根据低资源语言数据处理得到若干候选分词，基于每一个候选分词与第一分词语料库之间的匹配度从若干候选分词中选取第二分词语料；

基于第二分词语料训练得到分词模型，将若干待分词数据输入至分词模型中以输出多个分词候选结果；

基于每一个分词候选结果与第一分词语料库之间的匹配度，选取匹配度最高的分词候选结果作为分词结果。

2.根据权利要求1所述的分词方法，其特征在于，根据所述高资源语言数据处理得到第一分词语料，包括：

分别对每一组高资源语言数据进行预处理；

将预处理后的每一组高资源语言数据进行数据转换以形成多组短句，每一组短句包含若干个具有相同语言单位数的短语；

将所包含的语言单位完全相同的短语划分为同一个短语集合，所述短语集合中包含若干种短语；

分别获取每一种短语在为同一个短语集合中的出现频率，根据出现频率从高至低的排序选取排名前第一阈值的短语为第一分词语料。

3.根据权利要求2所述的分词方法，其特征在于，所述预处理包括按照第一预设规则对高资源语言数据中的标点符号进行转换、按照第二预设规则对高资源语言数据中的表情符号转换为语言单位。

4.根据权利要求2所述的分词方法，其特征在于，根据出现频率从高至低的排序选取排名前第一阈值的短语为第一分词语料，包括：

根据出现频率从高至低的排序选取排名前第一阈值的短语为候选第一分词语料；

从同一个短语集合中任意挑选一个短语，将短语中的全部空格去除后形成关键字；

输入关键字至预设分词模型以输出预测分词语料；

比对候选第一分词语料和预测分词语料，当第一分词语料与预测分词语料一致时，将候选第一分词语料作为第一分词语料；当第一分词语料与预测分词语料不一致时，对候选第一分词语料进行调整，将调整后的候选第一分词语料作为第一分词语料。

5.根据权利要求4所述的分词方法，其特征在于，根据低资源语言数据处理得到若干候选分词，包括：

分别对每一组低资源语言数据进行预处理；

将预处理后的每一组低资源语言数据进行数据转换以形成多组短句，每一组短句包含若干个具有相同语言单位数的短语；

将所包含的语言单位完全相同的短语划分为同一个短语集合，所述短语集合中包含若干种短语；

分别获取每一种短语在为同一个短语集合中的出现频率，根据出现频率从高至低的排序选取排名前第二阈值的短语为候选分词。

6.根据权利要求4所述的分词方法，其特征在于，根据低资源语言数据处理得到若干候选分词，包括：

分别对每一组低资源语言数据进行预处理；

将预处理后的每一组低资源语言数据进行数据转换以形成多组短句，每一组短句包含若干个具有相同语言单位数的短语；

将任意一个短语去除短语中的空格后形成关键字；

采用动态规划编程方法在关键字中加入空格，以形成所有可能的分词作为候选分词。

7.根据权利要求5或6所述的分词方法，其特征在于，基于每一个候选分词与第一分词语料库之间的匹配度从若干候选分词中选取第二分词语料，包括：

使用翻译模型将每一个候选分词分别翻译成多个均与高资源语言数据对应高资源候选分词；每一个所述高资源候选分词对应有翻译模型分配的翻译概率；

获取与高资源候选分词一致的第一分词语料在第一分词语料库中的出现频率；

根据高资源候选分词的概率以及与该高资源候选分词一致的第一分词语料在第一分词语料库中的出现频率计算频率指数；

将频率指数最高的第一分词语料所对应的高资源候选分词作为第二分词语料。