[发明专利]一种为短文本自动添加标签的方法及装置

权利要求书

1.一种为短文本自动添加标签的方法，其特征在于，包括：

统计标签词集中各个标签词的文档频率倒数；所述文档频率是指所述标签词集中各个标签词在与所述标签词集相关联的语料中的文档频率；

将短文本扩展为长文本，确定所述标签词集中的各个标签词在所述长文本中出现的词频；

根据所述文档频率倒数和所述词频，确定所述短文本的文本标签。

2.根据权利要求1所述的方法，其特征在于，所述统计标签词集中各个标签词的文档频率倒数包括：

预设标签词集和与所述标签词集相关联的语料；

对所述语料切词；

将所述标签词集中各个标签词与所述语料中的各个词进行一一匹配，统计所述标签词集中各个标签词在所述语料中的文档频率；

计算所述文档频率的文档频率倒数。

3.根据权利要求1所述的方法，其特征在于，所述将短文本扩展为长文本包括：

将短文本进行归一化处理；

将归一化处理的短文本扩展为长文本，并获取至少一条扩展文本。

4.根据权利要求3所述的方法，其特征在于，所述将归一化处理的短文本扩展为长文本包括：

将归一化处理的短文本在搜索引擎或者百科词条中进行扩展。

5.根据权利要求4所述的方法，其特征在于，所述确定所述标签词集中的各个标签词在所述长文本中出现的词频包括：

将至少一条所述扩展文本切词；

将所述标签词集中各个标签词与至少一条所述扩展文本中的各个词进行一一匹配，统计所述标签词集中各个标签词在至少一条所述扩展文本中的词频。

6.根据权利要求5所述的方法，其特征在于，所述根据所述文档频率倒数和所述词频，确定所述短文本的文本标签包括：

根据所述文档频率倒数和所述词频，计算文本标签的权值；

确定所述权值中预设个数的最大所述文本标签为所述短文本的文本标签。

7.根据权利要求6所述的方法，其特征在于，所述确定所述权值中预设个数的最大所述文本标签为所述短文本的文本标签包括：

将所述文本标签按照所述权值降序的顺序排序，确定排序后的所述权值中最前K个所述文本标签为所述短文本的文本标签；或者，

将所述文本标签按照所述权值升序的顺序排序，确定排序后的所述权值中最后K个所述文本标签为所述短文本的文本标签；

其中，K为预设个数，K为正整数。

8.一种为短文本自动添加标签的装置，其特征在于，包括：

统计单元，用于统计标签词集中各个标签词的文档频率倒数；所述文档频率是指所述标签词集中各个标签词在与所述标签词集相关联的语料中的文档频率；

扩展单元，用于将短文本扩展为长文本；

词频确定单元，用于确定所述标签词集中的各个标签词在所述长文本中出现的词频；

文本标签确定单元，用于根据所述文档频率倒数和所述词频，确定所述短文本的文本标签。

9.根据权利要求8所述的装置，其特征在于，所述统计单元包括：

设置模块，用于预设标签词集和预设与所述标签词集相关联的语料；

切词模块，用于对所述语料切词；

统计模块，用于将所述标签词集中各个标签词与所述语料中的各个词进行一一匹配，统计所述标签词集中各个标签词在所述语料中的文档频率；

计算模块，用于计算所述文档频率的文档频率倒数。

10.根据权利要求8所述的装置，其特征在于，所述扩展单元包括：

处理模块，用于将短文本进行归一化处理；

扩展模块，用于将归一化处理的短文本扩展为长文本，并获取至少一条扩展文本。

11.根据权利要求10所述的装置，其特征在于，所述扩展模块具体用于：

将归一化处理的短文本在搜索引擎或者百科词条中进行扩展。

12.根据权利要求11所述的装置，其特征在于，所述词频确定单元包括：

切词模块，用于将至少一条所述扩展文本切词；

词频确定模块，用于将所述标签词集中各个标签词与至少一条所述扩展文本中的各个词进行一一匹配，统计所述标签词集中各个标签词在至少一条所述扩展文本中的词频。