[发明专利]一种电商协同过滤推荐方法

说明书

本发明公开了一种改进的电商协同过滤推荐方法，提供基于Hadoop和Spark框架下的一种混合式推荐方法。在Hadoop框架下，使用基于用户的协同过滤算法，对海量数据进行离线数据分析，生成一个离线推荐列表；在Spark框架下，采用基于物品的协同过滤算法生成用户物品的实时推荐列表；最后，将离线推荐列表和实时推荐列表合并成一个最终的推荐列表提供给用户，使用户能得到最完美的推荐结果。该方法解决了现有的推荐方法更新时间周期过长，不能随着用户的购物行为而实时改变的缺陷。

技术领域

本发明涉及电商推荐，具体是一种电商协同过滤推荐方法

背景技术

电子商务的飞速发展将人类带入了网络经济时代,面对大量的商 品信息,用户(消费者)往往难以发现最需要或最适合的商品。电子商 务系统会形成海量的交易数据,如何从中挖掘和发现有用的知识以使 得交易更加高效成为一个有意义的研究课题.消费者希望电子商务系 统具有一种类似采购助手的功能来帮助其选购商品,它能够自动地把 用户可能最感兴趣的商品推荐出来。电子商务推荐系统正是针对以上 问题和需求产生的,为了提供精确而又快速的推荐,研究者提出了多 种推荐算法,其中协同过滤推荐算法是应用最为成功的一种。协同过 滤这一概念首次于1992年由Goldberg、Nicols、Oki及Terry提出,应用于Tapestry系统,该系统仅适用较小用户群(比如,某一个单位 内部),而且对用户有过多要求(比如,要求用户显式的给出评价)。作 为协同过滤推荐系统的雏形,Tapestry展示了一种新的推荐思想,但 存在许多技术上的不足。其后,出现了基于评分的自动协同过滤推荐 系统,例如推荐新闻和电影的GroupLen。目前,许多电子商务网站都 已经使用了推荐系统,如Amazon、阿里巴巴、京东和Moviefinder等。 目前主要有两类协同过滤推荐算法：基于用户的协同过滤推荐算法和 基于项目的协同过滤推荐算法。基于用户的协同过滤推荐算法基于这 样一个假设,即如果用户对一些项目的评分比较相似,则他们对其他 项目的评分也比较相似。算法根据目标用户的最近邻居(最相似的若 干用户)对某个项目的评分逼近目标用户对该项目的评分。基于项目 的协同过滤推荐算法认为,用户对不同项目的评分存在相似性,当需 要估计用户对某个项目的评分时,可以用户对该项目的若干相似项目 的评分进行估计。

发明内容

一种电商协同过滤推荐方法，其特征在于包括以下步骤：

步骤1：获取用户购物数据；

步骤2：获取用户数据进行判断，如果是离线数据则采用Hadoop 进行离线数据的处理，即跳转到步骤3，如果是实时数据则通过 sparkstreaming进行实时数据的处理，即跳转到步骤6；

步骤3：获取离线数据

步骤3.1：商家都将用户的操作和购买.log日志文件使用HDFS存 储起来；

步骤3.2：用MapReduce将大量的日志文件导入到MapReduce计 算框架下进行切分、派发、整理、合并计算，主要是Map和Reduce两 个方面从而得出需要的结果；

步骤3.3：将分解的矩阵按照商品和用户的关联度进行评分整合， 再按照用户之前的相似度生成离线推荐列表，将列表存入数据库等待 每天更新时间与实时推荐列表进行合并；

步骤4：清洗整合数据