[发明专利]基于搜索的无词边界标记语言的分词方法以及装置

权利要求书

1. 一种基于搜索的用于无词边界标记语言文本的分词方法，包括：

a.将包括至少一个片段的该文本的一个片段提供给至少一个搜索引擎；

b.通过该至少一个搜索引擎对该一个片段进行搜索，并返回搜索结果；

c.根据返回的搜索结果的至少一部分选取该一个片段的分词方式。

2. 根据权利要求1的方法，所述返回的搜索结果的至少一部分是排名靠前的部分。

3. 根据权利要求1的方法，在步骤c中，从所述返回的搜索结果的至少一部分中提取该一个片段的所有出现的候选分词单元，对提取的候选分词单元进行评分，根据该评分，对提取的候选分词单元的子集排名，所述每个子集中的候选分词单元按顺序形成该一个片段，选取排名最高子集作为该一个片段的分词方式。

4. 根据权利要求3的方法，从提取的候选分词单元中滤除无效的候选分词单元，该无效的候选分词单元是单字符和未出现在该一个片段中的分词单元之一。

5. 根据权利要求3的方法，对被评分的候选分词单元的评分方式是基于频率的方式，在所述搜索结果的一部分中，统计被评分的候选分词单元出现次数与所有候选分词单元出现的总次数的比值，作为被评分的候选分词单元的分值。

6. 根据权利要求3的方法，对被评分的候选分词单元的评分方式是基于支持向量机SVM的方式，利用SVM分类器或SVM回归模型对每个候选分词单元评分，为训练SVM分类器或SVM回归模型，将作为数据点的候选分词单元表示为一个特征向量。

7. 根据权利要求6的方法，对每个候选分词单元提取的特征包括以下特征之一或其组合：候选分词单元中字的数量；平均出现率，即候选分词单元出现的次数，除以搜索引擎返回的结果中的文档数量；文挡频率，即对于候选分词单元，多少个搜索结果包含它。

8. 根据权利要求5或6的方法，将其中候选分词单元的平均分值最高的候选分词单元子集作为该一个片段的选取的分词方式。

9. 根据权利要求3的方法，在返回的搜索结果中提取的候选分词单元是提取返回的摘录中的高亮短语。

10. 根据权利要求3的方法，当该搜索引擎为自有搜索引擎时，利用索引表提供的信息，查看术语在文档中的位置的相邻性来得到分词单元。

11. 一种基于搜索的用于无词边界标记语言文本的分词装置，包括：

至少一个搜索引擎，接收包括至少一个片段的该文本的一个片段，该至少一个搜索引擎对该一个片段在搜索网络中进行搜索，并返回搜索结果；

分词结果生成装置，根据该至少一个搜索引擎返回的搜索结果的至少一部分选取该一个片段的分词方式。

12. 根据权利要求11的装置，所述至少一个搜索引擎返回的搜索结果的至少一部分是排名靠前的部分。

13. 根据权利要求11的装置，该分词结果生成装置从所述返回的搜索结果的至少一部分中提取该一个片段的所有出现的候选分词单元，对提取的候选分词单元进行评分，根据该评分，对提取的候选分词单元的子集排名，所述每个子集中的候选分词单元按顺序形成该一个片段，选取排名最高子集作为该一个片段的分词方式。

14. 根据权利要求13的装置，该分词结果生成装置从提取的候选分词单元中滤除无效的候选分词单元，该无效的候选分词单元是单字符和未出现在该一个片段中的分词单元之一。

15. 根据权利要求13的装置，该分词结果生成装置对被评分的候选分词单元的评分方式是基于频率的方式，在所述搜索结果的一部分中，统计被评分的候选分词单元出现次数与所有候选分词单元出现的总次数的比值，作为被评分的候选分词单元的分值。

16. 根据权利要求13的装置，该分词结果生成装置对被评分的候选分词单元的评分方式是基于支持向量机SVM的方式，该分词结果生成装置利用SVM分类器或SVM回归模型对每个候选分词单元评分，为训练SVM分类器或SVM回归模型，将作为数据点的候选分词单元表示为一个特征向量。