[发明专利]基于大规模评分数据对用户进行商品在线实时推荐的方法

说明书

本发明涉及一种基于大规模评分数据对用户进行商品在线实时推荐的方法，是一种基于并行朴素贝叶斯回归模型的协同过滤推荐方法。首先，将数据存储于Hadoop的HDFS上，并行读取用户对项目的评分数据，对评分进行四舍五入的取整和离散化；其次，将用户和项目作为独立属性，离散化后的各评分作为类别，利用MapReduce框架实现的并行朴素贝叶斯分类模型计算用户对商品各评分类别的概率；最后，通过求期望来预测用户对商品的评分，应用于商品推荐。本方法解决了传统协同过滤算法时空效率低，预测成功率低和实时性不佳的问题，提高了推荐的时空效率、准确率和成功率，适合于大规模评分数据上对用户进行商品在线实时推荐。

技术领域

本发明涉及推荐系统、数据挖掘、大数据技术领域，更具体地说，涉及一种基于大规模 评分数据对用户进行商品在线实时推荐的方法。

背景技术

近年来，随着互联网和电子商务的发展，网络用户和商品的数量都急剧上升，TB级别的 数据的产生标志着大数据时代的来临。因此，如何从海量的数据中，获取有价值的数据成为 一个越来越重要的问题。特别是在电子商务领域，电子商务企业很难分析和处理这么大量的 数据。因此，如何通过从海量消费者的消费行为中提取有价值的信息来发现消费者的兴趣已 经成为当前的研究热点。在大数据时代，数据的庞大规模和复杂性对传统方案的处理和计算 能力提出了挑战，也带来了性能和精度的问题。因此，可以想到采用并行的推荐算法进行重 新设计，以扩展到大数据问题，克服精度和实时性的不足。

推荐系统是最广泛使用的机器学习技术之一。协同过滤(CF)是目前电子商务推荐系统 中最成功的推荐算法。协同过滤可以分为基于内存和基于模型两种。基于模型的协同过滤推 荐技术使用纯评分数据来估计或学习模型进行预测。该模型可以是数据挖掘或机器学习算法。 众所周知的基于模型的协同过滤推荐技术包括：贝叶斯信任网(BN)CF模型，聚类CF模型 和潜在语义CF模型。与基于存储器的协同过滤算法相比，基于模型的协同过滤算法不仅可 以提高推荐速度，而且可以过滤噪声数据，从而提高推荐的质量。因此，基于模型的协同过 滤推荐技术能够以高效率和准确性处理可扩展性问题。

因此，将基于朴素贝叶斯模型的协同过滤推荐方法并行化可以达到更好的推荐效果。但 是，朴素贝叶斯方法通常用于分类问题，用于预测评分可能存在预测准确性不高、时空开销 大、效率低等问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种推荐的效率和准确率的基于大规模评 分数据对用户进行商品在线实时推荐的方法。

本发明的技术方案如下：

一种基于大规模评分数据对用户进行商品在线实时推荐的方法，获取用户对商品的评分 数据，并对其进行离散化处理作为类别属性，利用基于并行朴素贝叶斯分类模型计算用户对 商品各评分类别的概率，通过期望求和预测用户对商品的评分，获得并行朴素贝叶斯回归模 型；通过并行朴素贝叶斯回归模型进行协同过滤推荐，实现商品在线实时推荐。

作为优选，获取用户对商品的评分数据后，将评分数据存储于Hadoop的HDFS分布式 文件系统上；其中，用户对商品的评分数据包括：用户a，商品b，用户a对商品b的评分r_a,b。

作为优选，将获取的用户对商品的评分离散化处理后，作为朴素贝叶斯的分类类别R_i， i∈[1,…,s]，表示有s种不同的评分。

作为优选，如果获取的评分数据为整数，则评分数据直接作为分类类别；如果获取的评 分数据为小数，则采用四舍五入的方式取整后，再作为分类类别；

则，

作为优选，确定评分数据为朴素贝叶斯分类的特征属性。