[发明专利]一种基于Hadoop平台的信息推荐方法及系统

权利要求书

1.一种基于Hadoop平台的信息推荐方法，其特征在于，包括：

获取文本信息及其对应的发布者信息，对文本信息进行去噪处理，将经过去噪处理的文本信息和发布者信息存储于Hadoop平台的HDFS系统；

利用MapReduce计算框架对HDFS系统中存储的文本信息和发布者信息进行分割和序化，生成多个文本信息及其对应发布者信息的键值对，合并同一发布者的键值对生成多个键值对列表；

利用LDA主题模型对键值对列表进行主题建模得到每一条文本信息的主题特征，根据LDA主题模型的建模结果对文本信息进行聚类；

根据文本信息的聚类结果对用户进行信息推荐。

2.根据权利要求1所述的基于Hadoop平台的信息推荐方法，其特征在于，所述对文本信息进行去噪处理包括：

将文本信息转换为统一的语言。

3.根据权利要求2所述的基于Hadoop平台的信息推荐方法，其特征在于，所述对文本信息进行去噪处理还包括：

把文本信息中携带的特殊符号转换为文字以保留文本信息的情感特征。

4.根据权利要求3所述的基于Hadoop平台的信息推荐方法，其特征在于，所述对文本信息进行去噪处理还包括：

利用ICTCLAS分词系统对文本信息进行分词。

5.根据权利要求4所述的基于Hadoop平台的信息推荐方法，其特征在于，所述对文本信息进行去噪处理还包括：

去除文本信息中的停用词以减少文本信息在HDFS系统中的存储空间。

6.根据权利要求1所述的基于Hadoop平台的信息推荐方法，其特征在于，所述对文本信息进行聚类包括：

利用余弦相似度计算文本信息的相似性，根据相似性的计算结果对文本信息进行聚类。

7.根据权利要求7所述的基于Hadoop平台的信息推荐方法，其特征在于，所述利用余弦相似度计算文本信息的相似性包括：

利用向量空间模型VSM把文本信息简化为空间向量，文本信息的余弦相似度如下式计算

A_i和B_i分别表示参与相似度计算的两个文本信息的基于向量空间模型VSM的空间向量。

8.根据权利要求1所述的基于Hadoop平台的信息推荐方法，其特征在于，所述根据文本信息的聚类结果对用户进行信息推荐包括：

根据文本信息的聚类结果计算候选文本信息与用户的阅读历史和/或对文本信息的评分的相似度并生成待推荐列表，对待推荐列表进行索引完成对用户的信息推荐。

9.根据权利要求1所述的基于Hadoop平台的信息推荐方法，其特征在于，所述获取文本信息及其对应的发布者信息包括：

模拟用户登录，下载任一页面URL进行页面解析获取发布者信息，根据发布者信息获取其发布的文本信息。

10.一种基于Hadoop平台的信息推荐系统，其特征在于，包括：

信息获取模块，用于获取文本信息及其对应的发布者信息；

信息存储模块，其中运行有Hadoop计算框架的HDFS系统以存储经过去噪处理的文本信息和发布者信息；

键值对生成模块，其中运行有MapReduce计算框架以对HDFS系统中存储的文本信息和发布者信息进行分割和序化，生成多个文本信息及其对应发布者信息的键值对，合并同一发布者的键值对生成多个键值对列表；

文本信息主题建模模块，利用LDA主题模型对键值对生成模块中获得的键值对列表进行主题建模得到每一条文本信息的主题特征；

文本信息聚类模块，根据LDA主题模型的建模结果对文本信息进行聚类用于对用户进行信息推荐；

推荐模块，根据文本信息的聚类结果对用户进行信息推荐。