[发明专利]一种基于跨语言数据增强的分词方法及装置

说明书

本申请实施例公开了一种基于跨语言数据增强的分词方法及装置。本申请实施例提供的技术方案通过采集高资源语言数据处理得到分词语料，采集低资源语言数据获取候选分词，并根据从高资源语言数据处获得的分词语料对候选分词进行甄选，选择与分词语料匹配度高的作为低资源语言数据的分词语料，并根据低资源分词语料进行分词模型的训练，可以实现对低资源语言数据基于模型自动输出分词候选结果，结合分词候选结果与高资源语言数据的分词语料的匹配度进行选取分词结果，通过使用高资源语言的语料对低资源语言的模型训练数据进行自动扩充和验证，解决了数据资源和标注资源在不同语言之间不平衡的问题，为迭代分词模型提供了一种更轻量而高效的解决方式。

技术领域

本申请实施例涉及分词技术领域，尤其涉及一种基于跨语言数据增强的分词方法、一种基于跨语言数据增强的分词装置、基于跨语言数据增强的分词设备及存储介质。

背景技术

由于信息化进程的发展，对用户提供搜索和推荐服务是目前信息时代的普遍需求。首先需要对句子进行合理的分词。传统的分词任务认为，对于英文这类天然带有空格的句子，只需要按照空格分词即可。然而与传统的分词任务的假设不同的是，现实中的用户并不会严格按照语法进行分词，而是常常把若干个词连在一起输入。错误的分词会影响到下游的任务，比如：实体识别、语义识别等。因此，需要根据业务场景训练特殊的分词器。而分词模型的训练需要大量的语料，但是对于一些数据相对稀缺的国家和地区，由于业务处于较为早期的阶段，缺少足够的用户数据，也缺乏相应的标注资源，语料资源的获取变得尤为艰难。

现有的分词方案主要分为两类，一类是基于概率统计的词典法，另一类是基于神经网络的模型法。词典法的主要逻辑是收集足够多的词和这些词的词频，通过计算不同的分词组合的概率得到最终的分词结果。模型法的主要逻辑则是采用序列标注的方法，通过特征的转移概率计算出全局最优的序列组合，并将这个序列转换为分词结果。这两种方法都需要足够多的训练语料，但是对低资源地区的训练语料的获取较为困难。现在的涉及低资源地区的较为流行的解决方案是借助谷歌提供的mBERT模型。首先下载在大规模数据集上预训练好的模型，再在每个LRL上用小数据集进行精调。BERT模型会将文字转换成向量，再将这些向量作为特征输入后续的模型中进行预测。但是谷歌提供的BERT预训练模型是已经分好词的，向量也是基于词的向量，因此不能直接被运用于分词任务中。而且BERT的预训练模型是在正式语料(如新闻、博客文章等)中进行训练的，缺少在一个产品的社交生态中产生的独特的语境。

发明内容

本申请实施例提供一种基于跨语言数据增强的分词方法、装置、设备及存储介质，以实现利用高资源语言地区的语料作为低资源语言地区的扩充和验证以对低资源语言进行分词，打破语言资源不平衡的问题。

在第一方面，本申请实施例提供了一种基于跨语言数据增强的分词方法，包括：

采集若干组高资源语言数据，根据每一组所述高资源语言数据处理得到一组第一分词语料；若干组第一分词语料构成第一分词语料库；

采集若干低资源语言数据，根据低资源语言数据处理得到若干候选分词，基于每一个候选分词与第一分词语料库之间的匹配度从若干候选分词中选取第二分词语料；

基于第二分词语料训练得到分词模型，将若干待分词数据输入至分词模型中以输出多个分词候选结果；

基于每一个分词候选结果与第一分词语料库之间的匹配度，选取匹配度最高的分词候选结果作为分词结果。

在第二方面，本申请实施例提供了一种基于跨语言数据增强的分词装置，包括：

第一采集模块：用于采集若干组高资源语言数据，根据每一组所述高资源语言数据处理得到一组第一分词语料；若干组第一分词语料构成第一分词语料库；

第二采集模块：用于采集若干低资源语言数据，根据低资源语言数据处理得到若干候选分词，基于每一个候选分词与第一分词语料库之间的匹配度从若干候选份分词中选取第二分词语料；