[发明专利]一种专业领域语料的中文分词方法及装置

权利要求书

1.一种专业领域语料的中文分词方法，其特征在于，包括：

获取待切分专业领域语料；

基于专业领域词典对所述待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料；

对所述第一待处理专业领域语料中的专业领域词进行字标注处理以及离散化处理，获得第二待处理专业领域语料；所述第二待处理专业领域语料包括每个专业领域字的标注类别；

对所述第二待处理专业领域语料中的非专业领域字进行特征提取，获得所述第二待处理专业领域语料中每个非专业领域字的特征信息；

基于每个非专业领域字的特征信息以及标注类别识别模型，识别每个非专业领域字的标注类别；其中，所述标注类别识别模型是基于通用型训练语料预先训练获得的；

基于所述待切分专业领域语料中每个字的标注类别，获得所述待切分专业领域语料的分词结果。

2.根据权利要求1所述的方法，其特征在于，基于所述通用型训练语料训练获得所述标注类别识别模型的步骤包括：

对所述通用型训练语料进行字标注处理以及离散化处理，获得离散化的通用型训练语料以及每个字的标注类别；其中，所述通用型训练语料是经过分词的语料；

基于离散化的通用型训练语料以及每个字的标注类别进行特征提取，获得每个字的特征信息；

基于每个字的特征信息以及最大熵模型，训练获得所述标注类别识别模型。

3.根据权利要求1所述的方法，其特征在于，所述基于专业领域词典对所述待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料包括：

基于所述专业领域词典以及对所述待切分专业领域语料进行正向最大匹配切分，获得所述待切分专业领域语料的第一专业词集合；其中，所述第一专业词集合包括各个第一专业词以及对应的位置信息；

基于所述专业领域词典对所述待切分专业领域语料进行逆向最大匹配切分，获得所述待切分专业领域语料的第二专业词集合；其中，所述第二专业词集合包括各个第二专业词以及对应的位置信息；

若判断获知所述第一专业词集合的第一专业词和所述第二专业词集合的第二专业词相同且对应的位置信息相同，则将相同的第一专业词和第二专业词作为所述第一待处理专业领域语料的专业领域词。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述对所述第二待处理专业领域语料中的非专业领域字进行特征提取，获得所述第二待处理专业领域语料中每个非专业领域字的特征信息包括：

基于当前字、所述当前字之前的两个字以及所述当前字之后的两个字，获得所述当前字的单一字特征和混合特征，并基于所述当前字之前的两个字的标注类型，获得所述当前字的类别特征。

5.一种专业领域语料的中文分词装置，其特征在于，包括：

获取单元，用于获取待切分专业领域语料；

切分单元，用于基于专业领域词典对所述待切分专业领域语料进行专业领域词切分，获得第一待处理专业领域语料；

离散化单元，用于对所述第一待处理专业领域语料中的专业领域词进行字标注处理以及离散化处理，获得第二待处理专业领域语料；所述第二待处理专业领域语料包括每个专业领域字的标注类别；

第一提取单元，用于对所述第二待处理专业领域语料中的非专业领域字进行特征提取，获得所述第二待处理专业领域语料中每个非专业领域字的特征信息；

识别单元，用于基于每个非专业领域字的特征信息以及标注类别识别模型，识别每个非专业领域字的标注类别；其中，所述标注类别识别模型是基于通用型训练语料预先训练获得的；

获得单元，用于基于所述待切分专业领域语料中每个字的标注类别，获得所述待切分专业领域语料的分词结果。

6.根据权利要求5所述的装置，其特征在于，还包括：

处理单元，用于对所述通用型训练语料进行字标注处理以及离散化处理，获得离散化的通用型训练语料以及每个字的标注类别；其中，所述通用型训练语料是经过分词的语料；

第二提取单元，用于基于离散化的通用型训练语料以及每个字的标注类别进行特征提取，获得每个字的特征信息；

训练单元，用于基于每个字的特征信息以及最大熵模型，训练获得所述标注类别识别模型。