[发明专利]一种畜牧业新闻资讯推荐系统

权利要求书

1.一种畜牧业新闻资讯推荐系统，其特征在于，包括：

用户兴趣度建模模块，用于挖掘、构建和存储用户兴趣度模型；

新闻资讯爬取模块，用于增量收集畜牧业新闻资讯；

网页数据预处理模块，用于对畜牧业新闻资讯进行预处理，包含去噪、去重和分类；

新闻资讯推荐模块，用于为给定用户提供新闻推荐列表，并自动收集其点击信息进行自我评估；

新闻资讯展示反馈模块，用于将推荐的畜牧新闻资讯以及需要推动的热点新闻资讯、广告信息展示给用户；

新闻资讯检索模块，用于给用户提供检索接口，让用户能够根据检索词和特征设定，精准找到相关的畜牧业新闻资讯信息。

2.根据权利要求1所述的一种畜牧业新闻资讯推荐系统，其特征在于：所述用户兴趣度建模模块，采用多元数据来源兴趣建模，兴趣建模数据包括用户检索词、用户检索后和被推荐新闻资讯后点击关联，以及浏览的新闻资讯内容；所述用户兴趣度建模模块包括用户检索词收集子模块、用户点击新闻资讯的关联信息子模块、用户阅读新闻资讯的内容建模子模块；

所述用户检索词收集子模块根据用户使用检索系统的记录，将其使用的检索词收集起来，并按照向量空间模型进行赋权，时间越久则赋权越低；

所述用户点击新闻资讯的关联信息子模块用于构建用户和新闻资讯之间的关联，包括两类关联：用户经过检索后的点击关联和用户点击推荐新闻资讯的关联；

所述用户阅读新闻资讯的内容建模子模块用于将用户点击浏览的内容进行向量空间建模，形成向量空间模型；此外，该内容建模子模块还将浏览停留时间作为建模元素，根据新闻资讯字数作为归一化因子，停留单位字数越长时间的新闻资讯则对用户兴趣模型权重越大。

3.根据权利要求1所述的一种畜牧业新闻资讯推荐系统，其特征在于：所述新闻资讯爬取模块采用增量爬取方式，每天从配置种子文件中的网页中爬取畜牧业相关新闻资讯，并对爬取后的新闻时间节点做标记，对爬取的新闻进行出版发布时间比对，发现新的发布信息，再爬取入库，对于没有获得发布时间信息的目标站点，使用LSH最小哈希方法比对入库资讯，从而达到入库前去重，第二天则从标记节点进行增量爬取。

4.根据权利要求1所述的一种畜牧业新闻资讯推荐系统，其特征在于：所述网页数据预处理模块对新闻资讯内容进行不仅包括垃圾信息和噪声信息过滤、聚类整理，还包括命名实体抽取、数据清洗，具体操作如下：

对畜牧业新闻资讯进行去重、抽取命名实体、清洗的预处理，并将预处理的信息入库；去重采用最小哈希方法对入库的新闻及其爬取的新闻进行比对，发现有重复新闻资讯，则只记录其来源，做好重复性标记；命名实体的识别采用条件随机场方法，将词表中的按照词表库分类标记为命名实体，将非词表中的新词作为待入库命名实体，作为新命名实体；对数据的清洗包括3个方面：a、缺失值的清洗，对于缺失发布时间的畜牧业新闻资讯，如果入库新闻资讯有重复新闻，则读取重复新闻的发布时间，如果没有则赋值当前系统时间；b、逻辑性的清洗，对爬取的新闻资讯截取前段50个字符、中间50个字符以及最后50个字符作为新闻标记值，设定为新闻唯一标记键值，如有重复新闻，则对应增加重复性标记；c、噪声内容清洗，对少于15个字符的新闻，自动判别为噪声，有广告、概览页面标题噪声。