[发明专利]域词典创建

权利要求书

1.一种计算机实现的方法，包括：

确定主题散度值，所述主题散度值基本上与在主题文档语料库中的第一主题词分布和在文档语料库中的第二主题词分布的比值成比例，其中所述主题文档语料库是与主题相关的主题文档的语料库，并且所述文档语料库是包括所述主题文档和其他文档的文档的语料库；

确定候选主题词的候选主题词散度值，所述候选主题词散度值基本上与在所述主题文档语料库中所述候选主题词的第一分布和在所述文档语料库中所述候选主题词的第二分布的比值成比例；以及

基于所述候选主题词散度值和所述主题散度值确定所述候选主题词是否是新的主题词。

2.根据权利要求1所述的方法，还包括选择与所述主题相关的主题词典中的现有词作为所述主题词。

3.根据权利要求1所述的方法，其中确定主题散度值包括：

选择主题词；

确定每个主题词的主题词散度值，每个主题词散度值基本上与在所述主题文档语料库中每个主题词的第一分布和在所述文档语料库中每个主题词的第二分布的比值成比例；以及

基于所述主题词散度值的集中趋势确定所述主题散度值。

4.根据权利要求1所述的方法，其中在所述主题文档语料库中所述候选主题词的第一分布与在所述主题文档语料库中所述候选主题词的分布和基于所述分布的对数的值的比值成比例。

5.根据权利要求1所述的方法，其中确定所述候选主题词是否是新的主题词包括：如果所述候选主题词散度值大于所述主题散度值，则确定所述候选主题词是新的主题词。

6.根据权利要求1所述的方法，还包括：如果确定所述候选主题词是新的主题词，则将所述候选主题词存储在主题词典中。

7.根据权利要求1所述的方法，还包括：

识别所述文档语料库中与主题相关的文档；

生成与所述主题相关的文档聚类；

识别每个所述文档聚类中的词；以及

从在每个所述文档聚类中的所识别的词中选择候选主题词。

8.根据权利要求1所述的方法，还包括：

确定在训练语料库中现有词和候选词的第一词频率，所述候选词由构成词的序列定义，每个构成词是词典中的现有词，并且所述训练语料库包括所述文档语料库的第一子集；

确定在发展语料库中所述构成词和所述候选词的第二词频率，所述发展语料库包括所述文档语料库的第二子集；

基于所述候选词的第二词频率以及所述构成词和所述候选词的第一词频率，确定候选词熵量度；

基于所述构成词的第二词频率以及所述构成词和所述候选词的第一词频率，确定现有词熵量度；以及

如果所述候选词熵量度超过所述现有词熵量度，则确定所述候选词是候选主题词。

9.根据权利要求8所述的方法，其中：

确定在训练语料库中现有词和候选词的第一词频率包括：针对在所述训练语料库中现有词和候选词的概率训练语言模型；并且

其中确定在发展语料库中所述构成词和所述候选词的第二词频率包括：确定在发展语料库中所述构成词中的每一个和所述候选词的词计数值。

10.根据权利要求9所述的方法，其中：

基于所述候选词的第二词频率以及所述构成词和所述候选词的第一词频率确定候选词熵量度包括：

基于所述候选词和所述构成词的概率确定第一对数值；和

基于所述候选词的词计数值和所述第一对数值确定候选词熵量度；并且

基于所述构成词的第二词频率以及所述构成词和所述候选词的第一词频率确定现有词熵量度包括：

基于所述候选词和所述构成词的概率确定第二对数值；以及

基于所述构成词的词计数和所述第二对数值确定现有词熵量度。

11.根据权利要求1所述的方法，其中所述候选主题词包括一个或多个汉字字符。