[发明专利]一种基于数据非随机缺失机制的推荐系统方法

说明书

一种基于数据非随机缺失机制的推荐系统方法，涉及互联网技术。获取用户历史行为记录；对得到的用户历史行为数据进行预处理；对预处理后的数据划分为训练集和测试集，进行模型训练；在模型训练结果中获取用户和商品相关参数；根据用户和商品相关参数预测用户对于未评分商品的偏好，并进行推荐。一方面克服了传统推荐方法中存在的随机缺失机制不能正确体现评分的缺失行为的缺点，另一方面通过沉默的螺旋理论，更加准确的给出用户在对商品进行评分行为的机制，增强模型的可解释性，提高预测精度。

技术领域

本发明涉及互联网技术，特别涉及一种基于数据非随机缺失机制的推荐系统方法。

背景技术

随着互联网的发展，每天产生的信息数以亿计，用户需要花费大量的时间和精力才能从如此大量的数据中发现所需的信息，导致信息利用率极其低下，为了解决因信息过载而导致的问题，推荐系统得到广泛的应用，推荐系统就是，通过用户产生的历史数据，发现用户的信息需求、兴趣等，然后将用户感兴趣的信息、产品等推荐给用户的系统。和搜索引擎相比，推荐系统通过研究用户的兴趣偏好，能够发现用户的兴趣点，引导用户发现自己的信息需求，高效获取信息。

近来，推荐系统受到越来越多的关注，如中国专利CN106021379A公开了一种基于用户偏好的个性化推荐方法及其系统，利用用户产生的历史行为数据，通过机器学习模型训练发现用户的偏好，并基于用户偏好对用户给出推荐，大大提高了用户的信息利用率，在大量的研究中，矩阵分解技术在评分的预测上有着很好的表现，矩阵分解即是，将已有的用户对商品的评分构成用户-商品评分矩阵，然后通过梯度下降算法将评分矩阵分解为两个子矩阵，即用户特征矩阵和商品特征矩阵，再将两个子矩阵相乘得到缺失的评分值。如中国专利CN103903163A公开了一种基于耦合主题模型的协同滤波方法，其方法就是在矩阵分解的基础上进行改进的，通过将矩阵分解与主题模型相结合的方法，提高了推荐模型的准确性。研究表明，当矩阵的缺失值是随机缺失的时候，矩阵分解算法有着非常高的评分预测准确率，但是，当矩阵的缺失值是非随机缺失时，矩阵分解表现的并不是很好。而在现实推荐场景下，评分矩阵的缺失值往往是非随机缺失的，例如，一个用户在购买商品以后，对该商品的体验很差，那用户很有可能就不倾向于给出对该商品的评分，而造成评分的缺失，这种评分的缺失是跟用户体验相关的，并不是单纯的随机缺失，这种现象相当常见，因此矩阵分解算法在现实的应用中存在一定的缺陷性。

就矩阵分解存在的随机缺失假设这一不足，Marlin等人在2007年人工智能不确定性会议集(Conference on Uncertainty in Artificial Intelligence)第267-275页的工作首次提出了基于非随机缺失机制的推荐模型，引入数据非随机缺失机制，在缺失因素上加入用户偏好，并比较了传统的随机缺失模型，实验结果均有较大提升；紧接着Marlin等人又在2009年推荐系统会议集(ACM Conference on Recommender Systems)第5-12页的工作进一步提出改进；后续，包括Hernández-Lobato等人在2014年机器学习国际会议集(International Conference on Machine Learning)第1512-1520页的工作以及H.Yang等人2015年在IEEE知识与数据工程汇刊(IEEE Transactions on Knowledge and DataEngineering)第2064-2077页的工作，都是在数据非随机缺失的基础上进行推荐模型的构建，然而，仔细研究上述文献可以发现，这些文献在在评分数据缺失因素上，只是考虑用户自身的偏好对于数据缺失的影响，更多是在用户偏好如何影响数据缺失的方式上进行改进，我们通过传播学的沉默螺旋理论发现，导致用户评分数据缺失的因素并非只有用户的偏好在起作用，大众意见也是用户参考的因素之一，由此可见，上述文献所提供的推荐模型仍然存在较大的不足，因此本发明通过提出一种基于数据非随机缺失机制的推荐系统方法，解决了现有模型存在的缺陷和不足，提高了推荐的精确性。

发明内容