[发明专利]一种强化学习优化LFM的协同过滤推荐算法

说明书

本发明公开了一种强化学习优化LFM的协同过滤推荐算法，包括训练与预测两部分。所述训练部分主要包括两步：第一步，首先采用LFM算法对训练集进行模型训练，第二步，对强化学习模型进行训练；所述预测部分主要包括两步：第一步，首先根据LFM推荐模型得到预测评分值；第二步利用优化模型对预测评分进行优化。本发明的强化学习优化LFM的协同过滤推荐算法，考虑到时间效应对推荐性能的影响，通过马尔科夫决策过程对用户、评分、图书、时间进行建模，并用强化学习Q‑learning算法对推荐算法进行优化，提升推荐效果，完成预测。

技术领域

本发明涉及计算机工程的技术领域，尤其涉及一种强化学习优化LFM的协同过滤推荐算法。

背景技术

随着互联网、物联网和云计算的高速发展，现实社会信息的数量飞速增长，面对各式各样繁多的信息，如何获取个性化服务成了人们目前迫切的要求。个性化推荐通过各种推荐算法分析用户的行为喜好，有效过滤用户不需要的信息，从而为用户进行个性化的推荐。目前，个性化推荐已被广泛应用到社交、新闻、音乐、电影以及图书系统中，如酷狗音乐、淘宝商品推荐、和电子图书推荐等。

协同过滤(Collaboration Filtering，CF)是推荐算法中应用广泛的技术之一，主要分为基于内存和基于模型的协同过滤推荐算法两大类。其中，基于内存的协同过滤推荐系统主要是通过分析“用户-项目”评分矩阵来计算相似度，通过相似度进行预测推荐；而基于模型的协同过滤推荐算法采用数据挖掘、机器学习以及统计学等方法，对评分数据的潜在规律进行学习并建立预测模型，然后使用所得模型为用户生成合理的推荐内容。潜在因子模式(LFM)是基于模型推荐算法的一种，它是基于矩阵分解算法建立的模型，依据机器学习和优化理论处理评分矩阵，从而获取用户的潜在特征并预测用户对未评分项目的评分，它具有较高的预测精度、较低的时间和空间复杂度及非常好的扩展性。

现有技术存在以下缺陷与不足：

LFM并没有考虑时间效应对推荐性能影响，而实际推荐效果与时间效应具有一定的关联性，例如用户在几年前对某一本图书的评分与当前用户的评分可能会存在差异，因此有必要对其进行改进，优化预测效果。

发明内容

基于以上现有技术的不足，本发明所解决的技术问题在于提供一种强化学习优化LFM的协同过滤推荐算法，以隐语义模型LFM作为协同过滤的核心算法，解决时间效应会影响推荐性能的问题，基于时间效应对推荐性能的影响，通过马尔科夫决策过程对用户、评分、图书、时间进行建模，并用强化学习Q-learning算法对推荐算法进行优化，提升推荐效果，完成预测，有效解决图书推荐预测中没有考虑时间影响的问题。

为了解决上述技术问题，本发明提供一种强化学习优化LFM的协同过滤推荐算法，包括训练与预测两部分；

所述训练部分主要包括两步：

第一步，首先采用隐语义模型LFM对训练集进行训练，以得到LFM推荐模型；

第二步，对强化学习模型进行训练，利用马尔科夫决策过程奖惩函数式计算状态转移的奖惩值，完成强化学习Q表的更新，以用于LFM推荐评分的优化模型；

所述预测部分主要包括两步：

第一步，首先根据LFM推荐模型得到预测评分值；

第二步，通过将LFM推荐算法得到的预测评分进一步采用马尔科夫决策过程中的奖赏函数进行优化，建立推荐预测评分与马尔科夫决策过程之间的映射关系，并用强化学习Q-learning算法进行模型训练，以优化预测过程得到最终的预测评分。

可选的，所述LFM推荐模型的公式为：