[发明专利]一种电商协同过滤推荐方法

权利要求书

1.一种电商协同过滤推荐方法，其特征在于，包括如下步骤：

S1，获取用户的数据；

S2，Hadoop获取离线数据，并对所述的离线数据进行清洗；

S3，MapReduce读取清洗好的数据用基于用户的协同过滤算法来进行计算，生成离线推荐列表；

S4，spark获取实时数据，用sparkstreaming对所述的实时数据进行清洗；

S5，清洗后的数据使用基于物品的系统过滤算法来计算，生成实时推荐列表；

S6，对实时推荐列表和离线推荐列表进行整合，整合时用马尔科夫链通过时间计算权重；

S7，生成最终的用户推荐列表，向用户推荐商品。

2.如权利要求1所述的电商协同过滤推荐方法，其特征在于，所述的步骤S3中用基于用户的协同过滤算法来进行计算，生成离线推荐列表为：

找到与目标用户兴趣相似的用户集合并将找到这个集合中用户喜欢的、并且目标用户没有听说过的物品推荐给目标用户，生成离线推荐列表。

3.如权利要求2所述的电商协同过滤推荐方法，其特征在于，所述的步骤S3具体包括：

S3.1，商家都将用户的操作和购买的.log日志文件使用Hadoop分布式文件系统存储起来；

S3.2，用MapReduce将大量的日志文件导入到MapReduce计算框架下进行切分、派发、整理、合并计算；

S3.3，将分解的矩阵按照商品和用户的关联度进行评分整合，再按照用户之前的相似度生成离线推荐列表。

4.如权利要求3所述的电商协同过滤推荐方法，其特征在于，所述的步骤S3.2包括：

S3.2.1，map处理，即每个输入分片会让一个map任务来处理，默认情况下，以Hadoop分布式文件系统一个块的大小为一个分片，Map输出的结果会暂且放在一个环形内存缓冲区中，当该环形内存缓冲区快要溢出时，会在本地文件系统中创建一个溢出文件，将该缓冲区中的数据写入这个文件，在写入磁盘之前，线程首先根据reduce任务的数目将数据划分为相同数目的分区，也就是一个reduce任务对应一个分区的数据；

S3.2.2，Reduce处理，即Reduce会接收到不同map任务传来的数据，并且每个map传来的数据都是有序的，如果reduce端接受的数据量低于了该缓冲区大小的一定比例，则直接存储在内存中，如果数据量超过了该缓冲区大小的一定比例，则对数据合并后溢写到磁盘中，随着溢写文件的增多，后台线程会将它们合并成一个更大的有序的文件。

5.如权利要求2所述的电商协同过滤推荐方法，其特征在于，所述的步骤S3.3包括：

商品和用户的关联度是根据用户物品数据生成的用户对项目的评分矩阵R(m,n)，在R(m,n)中，m行标识m个用户，n列标识n个项目，R_i,j表示用户i对项目j的评分值；通过用奇异值分解来给矩阵降维；对于奇异值,采用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵：

R_m×n＝U_m×mΣ_m×nV^T_n×n≈U_m×kΣ_k×kV^T_k×ν

其中k比n小，即一个大的矩阵R用三个小的矩阵Um×k,Σk×k,来表示。

6.如权利要求1所述的电商协同过滤推荐方法，其特征在于，所述的步骤S5中基于物品的系统过滤算法来计算生成实时推荐列表包括：计算物品之间的相似度，根据物品的相似度和用户的历史行为给用户生成实时推荐列表。