[发明专利]分词评价方法及装置

权利要求书

1.一种分词评价方法，其特征在于，所述方法包括：

从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集；

以待评价的分词程序对所述每个测试词语及其测试语料集进行分词处理；

将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对，根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价。

2.根据权利要求1所述的方法，其特征在于，所述从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集，具体包括：

将所述每个测试词语作为搜索词放入面向互联网的搜索引擎中进行搜索，得到所述每个测试词语的搜索结果；

在所述每个测试词语的搜索结果中提取有效的测试语料，构建所述每个测试词语的测试语料集。

3.根据权利要求1所述的方法，其特征在于，所述根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价，具体包括：

统计每个测试语料集中的分词结果的个数，并统计所述每个测试语料集中的分词结果与所述每个测试语料集对应的测试词语的分词结果一致的个数；

根据所述统计出的个数，对所述待评价的分词程序进行评价。

4.根据权利要求1所述的方法，其特征在于，所述根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价，具体包括：

在所有测试语料集中，统计测试语料集中的所有分词结果均与所述测试语料集对应的测试词语的分词结果一致的个数；

根据统计出的个数，及所有测试词语的个数，对所述待评价的分词程序进行评价。

5.一种分词评价装置，其特征在于，所述装置包括：

构建模块，用于从互联网中获取每个测试词语的测试语料，构建所述每个测试词语的测试语料集；

分词模块，用于以待评价的分词程序对所述每个测试词语及其测试语料集进行分词处理；

比对模块，用于将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对；

评价模块，用于在将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对之后，根据所述每个测试词语的分词结果与其测试语料集中的分词结果的一致性，对所述待评价的分词程序进行评价。

6.根据权利要求5所述的装置，其特征在于，所述构建模块，具体包括：

搜索单元，具体用于将所述每个测试词语作为搜索词放入面向互联网的搜索引擎中进行搜索，得到所述每个测试词语的搜索结果；

构建单元，具体用于在所述每个测试词语的搜索结果中提取有效的测试语料，构建所述每个测试词语的测试语料集。

7.根据权利要求5所述的装置，其特征在于，所述评价模块，具体用于在将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对之后，统计每个测试语料集中的分词结果的个数，并统计所述每个测试语料集中的分词结果与所述每个测试语料集对应的测试词语的分词结果一致的个数；根据统计出的个数，对所述待评价的分词程序进行评价。

8.根据权利要求5所述的装置，其特征在于，所述评价模块，具体用于在将所述每个测试词语的分词结果与其测试语料集中的分词结果进行比对之后，在所有测试语料集中，统计测试语料集的所有分词结果均与所述测试语料集对应的测试词语的分词结果一致的个数；根据统计出的个数，及所有测试词语的个数，对所述待评价的分词程序进行评价。