[发明专利]一种新闻内容全文检索引擎的构建方法及装置

权利要求书

1.一种新闻内容全文检索引擎的构建方法，其特征在于：该方法包括如下步骤：

S1、获取带有实时访问信息的实时网站日志；

S2、获取带有新闻热度评论信息的新闻网站的数据；

S3、对所述实时网站日志和所述新闻网站数据分类；

S4、对分类后的所述新闻网站数据进行处理、索引并存储；

S5、获取新闻网站数据中国的新闻元信息并存储；

S6、获取新闻网站数据中的热度信息进行存储，并对新闻网站数据中的热度信息统计。

2.根据权利要求1所述的方法，其特征在于：对分类后的所述新闻网站数据进行索引包括：

S41、按新闻内容的语言种类选择不同的分词器；

S42、根据所选择的分词器对目标新闻内容进行分词处理,得到分词列表；

S43、使用停用词词典，删除所述分词列表中的停用词，得到过滤后的分词列表；

S44、针对过滤后的分词列表，生成反向索引，存入分布式的索引库中。

3.根据权利要求2所述的方法，其特征在于：所述生成反向索引是按预定时间划分分区，将新闻网站数据的反向索引则会存储到逻辑分区中。

4.根据权利要求3所述的方法，其特征在于：根据权利要求3所述的方法，其特征在于：所述按预定时间作为分区是按月划分的。

5.根据权利要求1所述的方法，其特征在于：所述获取新闻网站数据中的热度信息是每天统计一次。

6.根据权利要求1所述的方法，其特征在于：所述热度信息包括：稿件ID、访问时间、页面浏览量和独立访客数中地至少一种。

7.根据权利要求1所述的方法，其特征在于：所述新闻元信息包括：新闻稿件的发稿日期、发稿作者、新闻的情感信息、相关度信息和分类信息中的至少一种。

8.根据权利要求1所述的方法，其特征在于：所述对新闻网站数据中的热度信息统计包括：

S61、根据关键词检索到相关的稿件；

S62、根据确定的查询时间区间；

S63、对时间区间内的访问量信息进行聚合统计。

9.一种新闻内容全文检索方法，其特征在于：该方法包括：

D1、获取检索条件，指定查询时间区间；

D2、确定待检索的索引的分区；

D3、对输入的关键词表达式进行解析，生成检索引擎需要的问题后在对应的分区进行检索；

D4、获取到检索的命中结果，找出新闻稿件的元信息；

D5、找到新闻稿件在指定时间区间范围内的热度信息进行聚合统计后输出。

10.一种新闻内容全文检索装置，其特征在于：包括：

日志获取单元，用于获取带有实时访问信息的实时网站日志；

数据获取单元，用于获取带有新闻热度评论信息的新闻网站的数据；

分类单元，用于对所述实时网站日志和所述新闻网站数据分类；

索引单元，用于对分类后的所述新闻网站数据进行处理、索引并存储；

新闻元信息获取单元，用于获取新闻网站数据中国的新闻元信息并存储；

新闻热度信息处理单元，用于获取新闻网站数据中的热度信息进行存储，并对新闻网站数据中的热度信息统计。