[发明专利]IT资讯聚合阅读个性化推荐方法

摘要

本发明公开一种IT资讯聚合阅读个性化推荐方法，通过网络爬虫定向爬取IT相关的资讯，通过SVM算法对爬取数据进行分类，通过对用户行为的分析，结合文章本身的属性对用户进行个性化推荐。在海量数据中提取出关于IT的资讯，并对其进行精准分类，解决了互联网信息杂乱的缺点；通过分析用户行为，针对用户进行个性化文章推荐，大大节省了用户的时间，快速了解到自己想要的资讯。

主权项

1.一种IT资讯聚合阅读个性化推荐方法，其特征在于，包括以下步骤：(1)采用网络爬虫的方式定向爬取IT相关资讯，然后对爬取数据进行数据清洗、文章分词得到预处理后的文章，存储到数据库；(2)文章分类：先由人工确定具体类别以及该类别对应的关键字，然后采用SVM算法对文章进行分类；包括以下两个阶段：模型训练阶段：人工在数据库文章表中挑选各类别对应的训练集，读取数据库中文章的内容信息，根据内容信息创建语料库，通过卡方检验挑选特征词；根据选好的特征词创建文章VSM模型，将VSM模型转换为SVM模型所需的输入参数，调用SVM模型进行训练，通过训练得到训练成功的SVM模型，将模型保存为本地文件；文章分类阶段：读取未分类文章，经过分词、去停止词操作后将文章转化为VSM模型，然后调用已经训练好的SVM模型进行训练，并将预测结果存入数据库中；(3)文章分类质量打分：分类质量打分考虑以下两个因素：文章来源网站SITE_WEIGHT、文章标题关键字在其所对应类别关键字列表中出现的次数NUM；根据文章来源网站不同，SITE_WEIGHT取值在1到3之间，次数NUM对应的权重NUM_WEIGHT为3，基于以上各因素，文章分类质量得分G计算公式如下：G＝SITE_WEIGHT+3*NUM；(4)相似文章检测：根据步骤(1)的文章分词结果，计算文章的simhash值，将更新的文章两两进行海明距离D计算，同时和前一天文章的集合进行海明距离D计算，D＝‐1表示题目相同，0≤D≤2表示simHash值意义下的相似文章，3≤D表示一般文章；当D<3时，认为两篇文章相似，推荐时不会被同时推荐；(5)文章热度打分：根据文章创作时间、阅读次数、点赞次数三个因素，同时考虑全体用户对于该文章所属类别及标签的偏好，对文章进行热度打分，反映这篇文章在当前阶段的受欢迎情况；具体各因素及权重如下：文章热度得分H＝TIME*0.3+READ*0.2+APPRAISE*0.2+SITE*0.1+CATEGORY*0.1+TAG*0.1(6)个性化文章推荐：分析用户的行为，用户的阅读点赞记录，分析用户对于某类网站，某类文章以及某些标签的偏好，同时结合文章本身的创作时间，文章被阅读次数，文章被点赞次数信息按权重给推荐文章进行综合打分；具体各因素及权重如下：文章推荐得分SCORE＝TIME*0.3+READ*0.2+APPRAISE*0.2+SSITE*0.1+SCATEGORY*0.1+STAG*0.1根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐；(7)各类主题的个性化推荐：步骤(2)对爬取的文章进行了分类，当用户选取某一类文章时，在推荐时，类别所占比重增大，具体比重如下：文章推荐得分Score＝H*0.3+G*0.4+SSITE*0.15+STAG*0.15，根据推荐的得分对文章进行排序，对得分大于1的文章进行推荐。