[发明专利]一种基于Spark平台的分布式推荐方法

摘要

本发明涉及一种基于Spark平台的分布式推荐方法，当用户输入相关参数合法且用户点击历史行为数据不为空时，产生基于ItemBased协同过滤的推荐序列A；对基于以用户为顶点，用户与用户的共同点击数为边进行社团发现，产生基于UserBased协同过滤的推荐序列B；将A和B按照不同的权重进行合并，产生基于协同过滤的推荐序列C；在C的基础上，关注用户个人点击历史行为，利用因子分解机模型进行训练，产生训练模型进行预测，产生预测推荐序列结果P；按照合并规则对C和P进行合并，生成最终推荐序列F并排序，写入实时数据库。本发明能满足海量大数据的推荐需求，将集体智慧推荐与个人智慧推荐相结合，形成最终的推荐序列。

主权项

一种基于Spark平台的分布式推荐方法，其特征在于包括以下步骤：1)用户输入相关参数，当参数合法且用户点击历史行为数据不为空时，通过ItemBased协同过滤算法，基于用户历史点击行为，采用共现矩阵计算文章的相似度，从而产生基于ItemBased协同过滤的推荐序列A；2)当参数合法且用户点击历史行为数据不为空时，对基于以用户为顶点，用户与用户的共同点击数为边进行社团发现，使用用户的相似的兴趣对用户进行聚类，在此基础上，计算相似用户矩阵，并产生基于UserBased协同过滤的推荐序列B；3)将推荐序列A和推荐序列B按照不同的权重进行合并，产生基于协同过滤的推荐序列C，做为推荐系统中使用集体智慧进行推荐的一种表现方式；4)当参数合法且用户点击历史行为数据不为空时，对在已有协同过滤推荐序列C的基础上，关注用户个人点击历史行为，并对用户一段时间内曝光未点击的数据与曝光点击的数据利用因子分解机模型进行训练，产生训练模型T，并将该用户的协同过滤推荐序列C利用该训练模型进行预测，产生预测推荐序列结果P，做为个人点智慧进行推荐的一种表现方式；5)按照合并规则对协同过滤推荐序列C和预测结果P进行合并，生成最终推荐序列F；6)对推荐序列F进行排序，并写入实时数据库。