[发明专利]分词方法和装置

权利要求书

1.一种分词方法，其特征在于，包括：

根据已有的词条建立初始的分词词典；

获取第一词条集合，在所述第一词条集合中选择满足预设条件的词条，以及，获取分词词典，采用获取的分词词典对所述满足预设条件的词条进行分词，并用分词后的词条更新获取的分词词典，其中，初始的第一词条集合由已有的词条组成，以及，初始获取的分词词典是所述初始的分词词典；

采用更新后的分词词典对所述第一词条集合中的词条进行分词，根据分词后的词条获取第二词条集合；

在确定满足收敛条件时，根据所述第二词条集合获取分词结果。

2.根据权利要求1所述的方法，其特征在于，所述满足预设条件的词条包括：

长度大于预设的长度阈值的词条；和/或，

词频大于或等于预设的词频阈值的词条。

3.根据权利要求1所述的方法，其特征在于，所述采用获取的分词词典对所述满足预设条件的词条进行分词，并用分词后的词条更新获取的分词词典，包括：

将满足预设条件的词条作为被分词的词条，对应每个被分词的词条，在获取的分词词典的除所述被分词的词条之外的词条中，优先选择长度最大的词条对所述被分词的词条进行分词，得到分词后的词条；

在获取的分词词典中，用分词后的词条替换对应的被分词的词条，并进行去重处理后，得到更新后的分词词典。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取第一词条集合的词条总数和第二词条集合的词条总数，根据所述第一词条集合的词条总数和第二词条集合的词条总数计算词条增加率；

如果所述词条增加率小于或等于预设的词条增加率阈值，且，预设的长度阈值小于或等于预设的第一值，确定满足收敛条件。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第二词条集合获取分词结果，包括：

在所述第二词条集合中去除词频小于预设值的词条，将所述第二词条集合中剩余的词条确定为分词结果。

6.根据权利要求4所述的方法，其特征在于，还包括：

如果所述词条增加率大于预设的词条增加率阈值，将所述第二词条集合作为下次循环的第一词条集合，重新获取分词结果。

7.根据权利要求4所述的方法，其特征在于，还包括：

如果所述词条增加率小于或等于预设的词条增加率阈值，且预设的长度阈值大于预设的第一值，以及，小于或等于预设的第二值，则减小预设的长度阈值和减小预设的词频阈值，并将所述第二词条集合作为下次循环的第一词条集合，重新获取分词结果；或者，

如果所述词条增加率小于或等于预设的词条增加率阈值，且预设的长度阈值大于预设的第二值，重新根据所述第一词条集合获取分词结果。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述词条包括：POI，或者，语音识别时用于建立语言模型的词条。

9.一种分词装置，其特征在于，包括：

建立模块，用于根据已有的词条建立初始的分词词典；

更新模块，用于获取第一词条集合，在所述第一词条集合中选择满足预设条件的词条，以及，获取分词词典，采用获取的分词词典对所述满足预设条件的词条进行分词，并用分词后的词条更新获取的分词词典，其中，初始的第一词条集合由已有的词条组成，以及，初始获取的分词词典是所述初始的分词词典；

分词模块，用于采用更新后的分词词典对所述第一词条集合中的词条进行分词，根据分词后的词条获取第二词条集合；

获取模块，用于在确定满足收敛条件时，根据所述第二词条集合获取分词结果。

10.根据权利要求9所述的装置，其特征在于，所述更新模块用于采用所述初始的分词词典对所述满足预设条件的词条进行分词，并用分词后的词条更新初始的分词词典，包括：

将满足预设条件的词条作为被分词的词条，对应每个被分词的词条，在获取的分词词典的除所述被分词的词条之外的词条中，优先选择长度最大的词条对所述被分词的词条进行分词，得到分词后的词条；

在获取的分词词典中，用分词后的词条替换对应的被分词的词条，并进行去重处理后，得到更新后的分词词典。