[发明专利]一种专业领域语料的中文分词方法及装置

说明书

本发明提供一种专业领域语料的中文分词方法及装置，涉及人工智能技术领域。所述方法包括：基于专业领域词典对待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料；对专业领域词进行字标注处理以及离散化处理，获得第二待处理专业领域语料；对第二待处理专业领域语料中的非专业领域字进行特征提取，获得每个非专业领域字的特征信息；基于每个非专业领域字的特征信息以及标注类别识别模型，识别每个非专业领域字的标注类别；基于待切分专业领域语料中每个字的标注类别，获得所述待切分专业领域语料的分词结果。所述装置用于执行上述方法。本发明实施例提供的专业领域语料的中文分词方法及装置，提高了专业领域语料分词的准确性。

技术领域

本发明涉及人工智能技术领域，具体涉及一种专业领域语料的中文分词方法及装置。

背景技术

中文分词(Chinese Word Segmentation)是将汉字序列切分成一个个单独的词的过程，是进行中文自然语言处理的基础，在词性标注、命名实体识别、语音合成、自动分类、机器翻译等领域得到广泛应用。

现有技术中，较为流行的中文分词算法主要为基于字标注的算法，例如条件随机场和最大熵模型，这些算法都是先通过训练语料进行训练，参数估计得出模型，然后利用该模型对文本进行分词处理，但该类模型的训练语料一般都是通用型训练语料，训练出来的模型在处理通用型文章时效果不错，但在处理专业领域文章时，因涉及大量的专业词汇，如在处理金融领域文章时，文章会涉及大量的金融词汇，利用通用型训练语料训练出来的模型对该专业领域文章进行分词处理，效果会比较差，分词的准确性降低。

发明内容

针对现有技术中的问题，本发明实施例提供一种专业领域语料的中文分词方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种专业领域语料的中文分词方法，包括：

获取待切分专业领域语料；

基于专业领域词典对所述待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料；

对所述第一待处理专业领域语料中的专业领域词进行字标注处理以及离散化处理，获得第二待处理专业领域语料；所述第二待处理专业领域语料包括每个专业领域字的标注类别；

对所述第二待处理专业领域语料中的非专业领域字进行特征提取，获得所述第二待处理专业领域语料中每个非专业领域字的特征信息；

基于每个非专业领域字的特征信息以及标注类别识别模型，识别每个非专业领域字的标注类别；其中，所述标注类别识别模型是基于通用型训练语料预先训练获得的；

基于所述待切分专业领域语料中每个字的标注类别，获得所述待切分专业领域语料的分词结果。

另一方面，本发明提供一种专业领域语料的中文分词装置，包括：

获取单元，用于获取待切分专业领域语料；

切分单元，用于基于专业领域词典对所述待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料；

离散化单元，用于对所述第一待处理专业领域语料中的专业领域词进行字标注处理以及离散化处理，获得第二待处理专业领域语料；所述第二待处理专业领域语料包括每个专业领域字的标注类别；

第一提取单元，用于对所述第二待处理专业领域语料中的非专业领域字进行特征提取，获得所述第二待处理专业领域语料中每个非专业领域字的特征信息；

识别单元，用于基于每个非专业领域字的特征信息以及标注类别识别模型，识别每个非专业领域字的标注类别；其中，所述标注类别识别模型是基于通用型训练语料预先训练获得的；

获得单元，用于基于所述待切分专业领域语料中每个字的标注类别，获得所述待切分专业领域语料的分词结果。