[发明专利]分词处理方法、装置、移动终端及计算机可读存储介质

权利要求书

1.一种分词处理方法，其特征在于，包括：

在获取到待分词语句时，确定所述待分词语句对应的目标语言类型；

根据所述目标语言类型，分别获取待分词语句中各单字对应的第一特征向量、两字对应的第二特征向量，及所述待分词语句中专有名词对应的第三特征向量，其中，所述第一特征向量表征所述各单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第二特征向量表征所述两字中每个单字与另一个单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第三特征向量表征所述专有名词中每个单字分别与所述专有名词中除所述每个单字之外的单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值；

根据所述第一特征向量、第二特征向量及第三特征向量，确定各单字当前的第四特征向量，所述第四特征向量与所述第一特征向量的维数相同，所述确定各单字当前的第四特征向量包括：将所述第一特征向量、第二特征向量及第三特征向量线性叠加，得到所述第四特征向量；

根据预设的汉字标签转移矩阵及所述各单字当前的第四特征向量，将所述待分词语句进行分词处理。

2.如权利要求1所述的方法，其特征在于，所述确定待分词语句中各单字对应的第一特征向量之前，还包括：

将所述待分词语句中包括的各字符进行归一化处理，确定所述各单字所属的汉字标签。

3.如权利要求1所述的方法，其特征在于，所述将所述待分词语句进行分词处理，包括：

将所述预设的汉字标签转移矩阵及所述各单字当前的第四特征向量，进行马尔可夫解码处理，确定所述待分词语句对应的序列标注结果；

所述将所述待分词语句进行分词处理之后，还包括：

根据预设的专有名词词典及切分规则，对所述序列标注结果进行修正处理。

4.如权利要求1-3任一所述的方法，其特征在于，所述获取所述待分词语句中专有名词对应的第三特征向量之前，还包括：

确定所述待分词语句中专有名词的置信度大于阈值。

5.如权利要求1-3任一所述的方法，其特征在于，所述获取待分词语句中各单字对应的第一特征向量，包括：

通过查询与所述目标语言类型对应的发射矩阵词典，获取所述待分词语句中各单字对应的第一特征向量。

6.如权利要求5所述的方法，其特征在于，所述获取待分词语句中各单字对应的第一特征向量之前，还包括：

获取与所述目标语言类型对应的发射矩阵词典。

7.一种分词处理装置，其特征在于，包括：

第一确定模块，用于在获取到待分词语句时，确定所述待分词语句对应的目标语言类型；

第一获取模块，用于根据所述目标语言类型，分别获取待分词语句中各单字对应的第一特征向量、两字对应的第二特征向量，及所述待分词语句中专有名词对应的第三特征向量，其中，所述第一特征向量表征所述各单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第二特征向量表征所述两字中每个单字与另一个单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第三特征向量表征所述专有名词中每个单字分别与所述专有名词中除所述每个单字之外的单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值；

第二确定模块，用于根据所述第一特征向量、第二特征向量及第三特征向量，确定各单字当前的第四特征向量，所述第四特征向量与所述第一特征向量的维数相同，所述第二确定模块具体用于：将所述第一特征向量、第二特征向量及第三特征向量线性叠加，得到所述第四特征向量；

第一处理模块，用于根据预设的汉字标签转移矩阵及所述各单字当前的第四特征向量，将所述待分词语句进行分词处理。

8.如权利要求7所述的装置，其特征在于，还包括：

第二处理模块，用于将所述待分词语句中包括的各字符进行归一化处理，确定所述各单字所属的汉字标签。