[发明专利]一种基于Spark平台的分布式推荐方法

说明书

本发明涉及一种基于Spark平台的分布式推荐方法，当用户输入相关参数合法且用户点击历史行为数据不为空时，产生基于ItemBased协同过滤的推荐序列A；对基于以用户为顶点，用户与用户的共同点击数为边进行社团发现，产生基于UserBased协同过滤的推荐序列B；将A和B按照不同的权重进行合并，产生基于协同过滤的推荐序列C；在C的基础上，关注用户个人点击历史行为，利用因子分解机模型进行训练，产生训练模型进行预测，产生预测推荐序列结果P；按照合并规则对C和P进行合并，生成最终推荐序列F并排序，写入实时数据库。本发明能满足海量大数据的推荐需求，将集体智慧推荐与个人智慧推荐相结合，形成最终的推荐序列。

技术领域

本发明涉及一种分布式推荐系统，具体为基于Spark平台的分布式推荐方法。

背景技术

协同过滤推荐(Collaborative Filtering recommendation)是在信息过滤和推荐系统中一项很受欢迎的技术。与传统的基于内容过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似(兴趣)用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。传统基于item的协同过滤，通过用户对不同item的评分来评测item之间的相似性，基于item之间的相似性做出推荐；传统基于user的协同过滤，通过不同用户对item的评分来评测用户之间的相似性，基于用户之间的相似性做出推荐。

随着大数据时代的到来以及推荐系统的多元化发展，在现实的很多业务场景中，推荐给用户相关商品后，只有曝光后点击和曝光后未点击的历史数据记录，很难直接得到用户对某一商品的具体评分。

传统的协同过滤方法生成推荐序列以后，并不会结合用户的历史行为，对该推荐序列进行回归预测。

随着数据量的扩大，传统的协同过滤单机算法模型遇到了计算瓶颈，计算时间过长或者计算量太大而算不出结果。

目前，分布式大数据处理框架Hadoop提供了一套完整大数据解决方案。其中，MapReduce模型适用于批处理，HDFS(Hadoop Distributed File System)适用于海量数据存储。MapReduce会将计算的中间结果缓存到磁盘中进行复用，导致增加读写IO的开销，从而计算变慢。

Spark是基于MapReduce的分布式内存迭代计算框架，计算的中间结果直接缓存到内存当中复用，而且Spark可以直接访问HDFS上的数据，计算速度更快，能够很好地满足推荐系统的实效性要求。

目前，应用Spark分布式内存迭代计算框架实现商用推荐系统的技术方案较少。

发明内容

针对现有技术中分布式大数据处理框架会将计算的中间结果缓存到磁盘中进行复用，导致计算变慢等不足，本发明要解决的问题是提供一种计算速度更快、能够很好地满足推荐系统的实效性要求的基于Spark平台的分布式推荐方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明一种基于Spark平台的分布式推荐方法，包括以下步骤：

1)用户输入相关参数，当参数合法且用户点击历史行为数据不为空时，通过ItemBased协同过滤算法，基于用户历史点击行为，采用共现矩阵计算文章的相似度，从而产生基于ItemBased协同过滤的推荐序列A；

2)当参数合法且用户点击历史行为数据不为空时，对基于以用户为顶点，用户与用户的共同点击数为边进行社团发现，使用用户的相似的兴趣对用户进行聚类，在此基础上，计算相似用户矩阵，并产生基于UserBased协同过滤的推荐序列B；

3)将推荐序列A和推荐序列B按照不同的权重进行合并，产生基于协同过滤的推荐序列C，做为推荐系统中使用集体智慧进行推荐的一种表现方式；