[发明专利]一种电商协同过滤推荐方法

说明书

本发明公开了一种电商协同过滤推荐方法，包括如下步骤：S1，获取用户的数据；S2，Hadoop获取离线数据，并对所述的离线数据进行清洗；S3，MapReduce读取清洗好的数据用基于用户的协同过滤算法来进行计算，生成离线推荐列表；S4，spark获取实时数据，用sparkstreaming对所述的实时数据进行清洗；S5，清洗后的数据使用基于物品的系统过滤算法来计算，生成实时推荐列表；S6，对实时推荐列表和离线推荐列表进行整合，整合时用马尔科夫链通过时间计算权重；S7，生成最终的用户推荐列表，向用户推荐商品。

技术领域

本发明涉及大数据领域，特别涉及一种电商协同过滤推荐方法。

背景技术

电子商务的飞速发展将人类带入了网络经济时代,面对大量的商品信息,用户(消费者)往往难以发现最需要或最适合的商品。电子商务系统会形成海量的交易数据,如何从中挖掘和发现有用的知识以使得交易更加高效成为一个有意义的研究课题.消费者希望电子商务系统具有一种类似采购助手的功能来帮助其选购商品,它能够自动地把用户可能最感兴趣的商品推荐出来。电子商务推荐系统正是针对以上问题和需求产生的,为了提供精确而又快速的推荐,研究者提出了多种推荐算法,其中协同过滤推荐算法是应用最为成功的一种。协同过滤这一概念首次于1992年由Goldberg、Nicols、Oki及Terry提出,应用于Tapestry系统,该系统仅适用较小用户群(比如,某一个单位内部),而且对用户有过多要求(比如,要求用户显式的给出评价)。作为协同过滤推荐系统的雏形,Tapestry展示了一种新的推荐思想,但存在许多技术上的不足。其后,出现了基于评分的自动协同过滤推荐系统,例如推荐新闻和电影的GroupLen。目前,许多电子商务网站都已经使用了推荐系统,如Amazon、阿里巴巴、京东和Moviefinder等。目前主要有两类协同过滤推荐算法：基于用户的协同过滤推荐算法和基于项目的协同过滤推荐算法。基于用户的协同过滤推荐算法基于这样一个假设,即如果用户对一些项目的评分比较相似，则他们对其他项目的评分也比较相似。算法根据目标用户的最近邻居(最相似的若干用户)对某个项目的评分逼近目标用户对该项目的评分。基于项目的协同过滤推荐算法认为,用户对不同项目的评分存在相似性,当需要估计用户对某个项目的评分时,可以用户对该项目的若干相似项目的评分进行估计。

发明内容

本发明的目的是提供一种电商协同过滤推荐方法，解决现有的推荐算法时间周期过长不能随着用户的实时购物行为所改变，用离线和实时两种计算模式下生成的推荐列表能快速准确的反映出用户的实际需求和更新。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种电商协同过滤推荐方法，其特点是，包括如下步骤：

S1，获取用户的数据；

S2，Hadoop获取离线数据，并对所述的离线数据进行清洗；

S3，MapReduce读取清洗好的数据用基于用户的协同过滤算法来进行计算，生成离线推荐列表；

S4，spark获取实时数据，用sparkstreaming对所述的实时数据进行清洗；

S5，清洗后的数据使用基于物品的系统过滤算法来计算，生成实时推荐列表；

S6，对实时推荐列表和离线推荐列表进行整合，整合时用马尔科夫链通过时间计算权重；

S7，生成最终的用户推荐列表，向用户推荐商品。

所述的步骤S3中用基于用户的协同过滤算法来进行计算，生成离线推荐列表为：找到与目标用户兴趣相似的用户集合并将找到这个集合中用户喜欢的、并且目标用户没有听说过的物品推荐给目标用户，生成离线推荐列表。

所述的步骤S3具体包括：

S3.1，商家都将用户的操作和购买的.log日志文件使用Hadoop分布式文件系统存储起来；