[发明专利]一种基于深度学习的分词器训练方法及其装置

说明书

本发明公开了一种基于深度学习的分词器训练方法及其装置，涉及数据处理领域。本发明包括如下步骤：步骤S1：利用网络爬虫技术获取大量网页文本语料；步骤S2：对获取的文本语料进行类型筛选；步骤S3：采用分词器对筛选后的不同类型的文本语料进行分词处理和分句处理得到训练集；步骤S4：删除训练集中具有歧义或错误的训练子集；步骤S5：将训练子集输入模型进行训练；步骤S6：计算每次训练迭代的损失函数，获取各类型的最优模型。本发明通过网络爬虫获取大量文本语料，并对文本语料进行类型不同筛选，根据类型对文本语料进行分词处理并作为训练集进行模型训练，再通过损失函数获取最优模型，提高了分词器的准确率和效率。

技术领域

本发明属于数据处理领域，特别是涉及一种基于深度学习的分词器训练方法及其装置。

背景技术

语音合成，又称文语转换(TexttoSpeech，TTS)，能将文字信息实时转换为语音朗读出来，相当于给机器装上了人工嘴巴。对于语音合成系统，首先需要对输入的文本进行处理，其中包括分词处理。分词算法主要有两类，一种是基于词典匹配的算法，另一种是基于训练语料的学习算法。

现有技术中，条件随机场(ConditionalRandomField，CRF)模型是一种主流的基于训练语料的学习算法。但是，CRF模型是一种有监督的机器学习算法，需要大量的人工标注数据作为支撑。使用人力做数据标注的工作无论从经济上还是时间花费的角度都是非常昂贵的。

发明内容

本发明的目的在于提供一种基于深度学习的分词器训练方法及其装置，通过网络爬虫获取大量文本语料，并对文本语料进行类型不同筛选，根据类型对文本语料进行分词处理并作为训练集进行模型训练，再通过损失函数获取最优模型，解决了现有的分词器分词效率低，准确率不足的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于深度学习的分词器训练方法，包括如下步骤：

步骤S1：利用网络爬虫技术获取大量网页文本语料；

步骤S2：对获取的文本语料进行类型筛选；

步骤S3：采用分词器对筛选后的不同类型的文本语料进行分词处理和分句处理得到训练集；

步骤S4：删除训练集中具有歧义或错误的训练子集；

步骤S5：将训练子集输入模型进行训练；

步骤S6：计算每次训练迭代的损失函数，获取各类型的最优模型。

优选地，所述步骤S2中，获取的大量网页文本语料内容按照题材类型进行分类和筛选；所述题材类型包括财经、体育、医疗、健康、教育，并对题材歧义的、敏感题材的其他语料进行删除。

优选地，所述步骤S3中，对筛选后的不同类型的文本语料进行分词处理采用Lucene接口和MMSEG分词算法进行分词。

优选地，所述步骤S6中，采用EM算法对每次训练的模型进行迭代，计算训练迭代的损失函数为：

其中，训练子集表示为(X,w)∈x×w；表示为模型；w表示模型参数。

本发明为一种基于深度学习的分词器训练方法的装置，包括：

网络爬虫模块，用于从网页上获取大量网页文本语料；

语料分类模块，用于对获取的语料按照类型进行筛选分类；

分词模块：用于对不同类型的语料进行分句和分词处理；

筛选模块：用于对分词完成的训练集进行筛选，去除歧义和错误的训练子集；

训练模块：用于对所述训练集输入到搭建的网络模型进行训练；