[发明专利]一种自动给文档添加标签的方法和装置

权利要求书

1.一种自动给文档添加标签的方法，其特征在于，所述方法包括：

确定对应所述文档的多个候选标签词；

确定包括多个文本的语料；从所述语料中选择常用词作为特征词；针对每个特征词和候选标签词，确定所述语料中在出现特征词的情况下同时出现候选标签词的共现概率；其中，所述语料是指从互联网上收集相关的多个文本；

从所述文档中提取特征词，针对每个提取出的特征词，计算该特征词的权值；

在所述语料中，针对候选标签词，统计候选标签词与所述文档中出现的所有特征词的加权共现概率；选择加权共现概率高的候选标签词作为为文档添加的标签词。

2.根据权利要求1所述的方法，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

P(X|Y)的确定方式为：P(X|Y)＝X和Y在同一文本中同时出现的次数/Y在语料中出现的次数。

3.根据权利要求1所述的方法，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

所述P(X|Y)的确定方式为：其中，H(X,Y)为X和Y的联合熵，I(X,Y)为X和Y的互信息。

4.根据权利要求1所述的方法，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

所述P(X|Y)的确定方式为：利用词库资源进行确定。

5.根据权利要求1所述的方法，其特征在于，所述文档中提取出的特征词Y的权值为W_Y，W_Y等于Y在文档中出现的次数与所述语料中出现Y的文本数的乘积。

6.根据权利要求1至4任意一项所述的方法，其特征在于，所述加权共现概率为其中，Y_i为文档中出现的特征词，为Y_i的权值，n为文档中出现的特征词的个数。

7.根据权利要求1至4任意一项所述的方法，其特征在于，在所述语料中，针对与所述文档中出现的一个以上特征词存在共现关系的候选标签词，统计加权共现概率。

8.一种自动给文档添加标签的装置，其特征在于，所述装置包括：

候选标签词确定模块，用于确定对应所述文档的多个候选标签词；

共现概率确定模块，用于确定包括多个文本的语料，从所述语料中选择常用词作为特征词；针对每个特征词和候选标签词，确定所述语料中在出现特征词的情况下同时出现候选标签词的共现概率；其中，所述语料是指从互联网上收集相关的多个文本；

权值计算模块，用于从所述文档中提取特征词，针对每个提取出的特征词，计算该特征词的权值；

加权共现概率统计模块，用于在所述语料中，针对候选标签词，统计候选标签词与所述文档中出现的所有特征词的加权共现概率；

标签词添加模块，用于选择加权共现概率高的候选标签词作为为文档添加的标签词。

9.根据权利要求8所述的装置，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

所述共现概率确定模块计算P(X|Y)的方式为：P(X|Y)＝X和Y在同一文本中同时出现的次数/Y在语料中出现的次数。

10.根据权利要求8所述的装置，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

所述共现概率确定模块计算P(X|Y)的方式为：其中，H(X,Y)为X和Y的联合熵，I(X,Y)为X和Y的互信息。

11.根据权利要求8所述的装置，其特征在于，所述共现概率为P(X|Y)，其中，X为候选标签词，Y为所述语料中出现的特征词；

所述共现概率确定模块确定P(X|Y)的方式为：利用词库资源进行确定。

12.根据权利要求8所述的装置，其特征在于，所述文档中提取出的特征词Y的权值为W_Y，所述权值计算模块计算W_Y的方式为：W_Y等于Y在文档中出现的次数与所述语料中出现Y的文本数的乘积。