[发明专利]一种基于跨语言数据增强的分词方法及装置

摘要

本申请实施例公开了一种基于跨语言数据增强的分词方法及装置。本申请实施例提供的技术方案通过采集高资源语言数据处理得到分词语料，采集低资源语言数据获取候选分词，并根据从高资源语言数据处获得的分词语料对候选分词进行甄选，选择与分词语料匹配度高的作为低资源语言数据的分词语料，并根据低资源分词语料进行分词模型的训练，可以实现对低资源语言数据基于模型自动输出分词候选结果，结合分词候选结果与高资源语言数据的分词语料的匹配度进行选取分词结果，通过使用高资源语言的语料对低资源语言的模型训练数据进行自动扩充和验证，解决了数据资源和标注资源在不同语言之间不平衡的问题，为迭代分词模型提供了一种更轻量而高效的解决方式。