[发明专利]一种词条权重计算的方法及装置

说明书

本发明提供了一种词条权重计算的方法及装置,涉及互联网技术领域。该方法包括:获取文本；对所述文本进行切分，得到term列表；根据预先得到的term与类tf特征的对应关系，提取所述term列表中各term的类tf特征；所述term与类tf特征的对应关系通过统计长尾query获得；根据预先得到的term与idf特征的对应关系，提取所述term列表中各term的idf特征；所述term与idf特征的对应关系通过搜索日志获得；利用所述term的类tf特征与所述term的idf特征计算所述term列表中各term的权重。使用该方法能够解决在短文本中无法提取tf特征，不能与idf特征相互制约，以致短文本的关键词或者标签不能有效的提取的问题。

技术领域

本发明涉及互联网技术领域，特别是涉及一种词条权重计算的方法及装置。

背景技术

随着网络和信息技术的迅猛发展，信息量呈现爆炸式的增长，那么快速且正确的从这些海量数据里面获取正确的信息是现在搜索引擎的核心问题。

目前，使用tf-idf的统计方法计算词条权重，词条权重是一项重要的nlp(自然语言处理)基础性工作，词条权重计算的好坏，直接影响相关性计算、关键词抽取、标签提取、搜索排序的性能。其中，tf-idf(term frequency–inverse document frequency：词频-逆向文件频率)的主要思想是：如果某个词或者短语在一篇文章中出现的频率tf高，并且在其他文章中出现少，即idf低，则认为此词或者短语具有很好的类别区分能力，适用于分类，该词或者短语可以作为此文章的关键词或者标签。

依靠传统的计算词条权重的方法tf-idf的方法对于短文本不适用，类似视频标题、用户描述、搜索查询这样的短文本中，每个词出现的次数几乎都为1，使得tf特征无法提取，如某用户搜索为“北京故宫门票多少钱”，其中，每个词出现的次数均为1，tf特征无法提取，不能与idf特征进行相互制约。因此，传统的tf-idf不能准确有效的提取出短文本的关键词或者标签。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种词条权重计算的方法和相应的一种词条权重计算的装置。

依据本发明的一个方面，提供了一种词条权重计算的方法，包括：

获取文本；

对所述文本进行切分，得到term列表；

根据预先得到的term与类tf特征的对应关系，提取所述term列表中各term的类tf特征；所述term与类tf特征的对应关系通过统计长尾query获得；

根据预先得到的term与idf特征的对应关系，提取所述term列表中各term的idf特征；所述term与idf特征的对应关系通过搜索日志获得；

利用所述term的类tf特征与所述term的idf特征计算所述term列表中各term的权重。

优选地，根据上述的一种词条权重计算的方法，所述获取文本的步骤之前，还包括：

从搜索引擎的搜索日志中获取长尾query集；

从所述长尾query集中统计各term的类tf特征，获得各term与类tf特征的对应关系；

根据各term在所述搜索引擎的文档集中出现的频率，计算各term的idf，获得各term与idf的对应关系。

优选地，根据上述的一种词条权重计算的方法，所述从所述长尾query集中统计各term的类tf特征，获得各term与类tf特征的对应关系的步骤，包括：

对所述长尾query集中每个长尾query进行切分，对切分结果进行过滤，获得所述长尾query集的term切分集合；