[发明专利]分词处理方法、装置、移动终端及计算机可读存储介质

权利要求书

1.一种分词处理方法，其特征在于，包括：

获取待分词语句中各单字对应的第一特征向量及两字对应的第二特征向量，其中，所述第一特征向量表征所述各单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第二特征向量表征所述两字中每个单字与另一个单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值；

根据所述第一特征向量及第二特征向量，确定各单字当前的第三特征向量，所述第三特征向量与所述第一特征向量的维数相同，所述确定各单字当前的第三特征向量包括：将所述第一特征向量及第二特征向量线性叠加，得到所述第三特征向量；

根据预设的汉字标签转移矩阵及所述各单字当前的第三特征向量，将所述待分词语句进行分词处理。

2.如权利要求1所述的方法，其特征在于，所述确定待分词语句中各单字对应的第一特征向量之前，还包括：

将所述待分词语句中包括的各字符进行归一化处理。

3.如权利要求1所述的方法，其特征在于，所述将所述待分词语句进行分词处理之前，还包括：

根据预设的专有名词词典及切分规则，对所述各单字当前对应的第三特征向量进行修正处理。

4.如权利要求1-3任一所述的方法，其特征在于，所述获取待分词语句中各单字对应的第一特征向量，包括：

通过查询预设的发射矩阵词典，获取所述待分词语句中各单字对应的第一特征向量。

5.如权利要求1-3任一所述的方法，其特征在于，所述将所述待分词语句进行分词处理，包括：

将所述预设的汉字标签转移矩阵及所述各单字当前的第三特征向量，进行马尔可夫解码处理，确定所述各单字当前对应的标签向量；

根据所述各单字当前对应的标签向量，将所述待分词语句进行分词处理。

6.一种分词处理装置，其特征在于，包括：

获取模块，用于获取待分词语句中各单字对应的第一特征向量及两字对应的第二特征向量，其中，所述第一特征向量表征所述各单字的标签分别为开头字、中间字、结束字和单字词组的权值，所述第二特征向量表征所述两字中每个单字与另一个单字组合时，所述每个单字的标签分别为开头字、中间字、结束字和单字词组的权值；

确定模块，用于根据所述第一特征向量及第二特征向量，确定各单字当前的第三特征向量，所述第三特征向量与所述第一特征向量的维数相同，所述确定模块具体用于：将所述第一特征向量及第二特征向量线性叠加，得到所述第三特征向量；

第一处理模块，用于根据预设的汉字标签转移矩阵及所述各单字当前的第三特征向量，将所述待分词语句进行分词处理。

7.如权利要求6所述的装置，其特征在于，还包括：

第二处理模块，用于将所述待分词语句中包括的各字符进行归一化处理。

8.如权利要求6所述的装置，其特征在于，还包括：

第三处理模块，用于根据预设的专有名词词典及切分规则，对所述各单字当前对应的第三特征向量进行修正处理。

9.如权利要求6-8任一所述的装置，其特征在于，所述获取模块，具体用于：

通过查询预设的发射矩阵词典，获取所述待分词语句中各单字对应的第一特征向量。

10.如权利要求6-8任一所述的装置，其特征在于，所述第一处理模块，具体用于：

将所述预设的汉字标签转移矩阵及所述各单字当前的第三特征向量，进行马尔可夫解码处理，确定所述各单字当前对应的标签向量；

根据所述各单字当前对应的标签向量，将所述待分词语句进行分词处理。

11.一种移动终端，包括：

存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的分词处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的分词处理方法。