[发明专利]一种基于深度强化学习的推荐系统构建方法

说明书

本发明提供一种基于深度强化学习的推荐系统构建方法，包括如下步骤：S1)建立用户与推荐系统交互的特征表征集合；S2)建立用户与推荐系统交互的状态表征；S3)推荐系统的建模；S4)推荐系统的训练；S5)推荐系统的部署。本发明的优点为：通过把一维离散型项目的动作选择空间映射到多维连续实值空间，采用进制转换的方法对推荐条目的动作空间进行简化，降低推荐系统训练的难度；采用卷积递归神经网络对用户的行为特征进行建模，提高了推荐系统的性能。

技术领域

本发明涉及推荐系统技术领域，具体涉及一种基于深度强化学习的推荐系统构建方法。

背景技术

推荐系统是智能电子商务系统中不可或缺的一部分，通过用户的历史浏览数据向用户推荐可能所需的项目是其主要任务。常用的推荐系统方法有协同过滤、矩阵分解和基于内容的排序等。然而，这些常用的推荐方法往往把用户的偏好建模为一个静态的过程，通过一些贪婪的排序方法向用户进行推荐，不能考虑用户偏好的动态变化。最近的一些研究表明，将推荐系统建模为一个强化学习问题，通过最大化用户未来可能给出的总评分作为优化目标，可以有效地对用户的偏好进行动态建模，提升推荐系统的表现与性能。

然而，由于推荐系统自身存在的一些特点，采用强化学习方法进行推荐系统构建的过程中，常常面临着如下两个问题：1)推荐系统中推荐的项目数往往巨大，用强化学习来解决时，需要考虑这种巨大的动作空间问题带来的优化困难；2)对用户观测到的状态建模，在用户与推荐系统交互的过程中，会产生用户反馈的时序信息，如何将这种时序信息提取并建模用户的状态、描述用户的行为特征，是关乎推荐系统性能的一个关键问题。

发明内容

本发明的目的是提供一种通过把一维离散型项目的动作选择空间映射到多维连续实值空间从而有效简化动作空间、并采用卷积递归神经网络对用户的行为特征进行建模来提高推荐系统性能的基于深度强化学习的推荐系统构建方法。

为了达到上述目的，本发明通过以下技术方案来实现：

一种基于深度强化学习的推荐系统构建方法，包括如下步骤：

S1)建立用户与推荐系统交互的特征表征集合

用户与推荐系统交互的过程采用马尔可夫决策过程S,A,P,R表示，其中，S为状态集合，即用户与推荐系统交互的特征表征集合，A为用户可选择的项目集合，在t时刻下选择的项目记为a_t，P(s_t+1|s_t,a_t)为状态转移函数，即当前时刻状态s_t下用户选择项目a_t后下一时刻状态s_t+1的概率，R(s_t+1|s_t,a_t)为回报函数，即用户对当前状态s_t选择项目a_t后用户的评分，推荐系统的优化目标是最大化用户的期望总评分，即

其中，T为终止时刻；

S2)建立用户与推荐系统交互的状态表征

根据所有用户的历史记录，建立U行M列的用户评分矩阵，其中，U为用户的总数，M为推荐项目的总数，评分矩阵的第i行第j列表示第i个用户对第j个项目的评分，如果用户没有评价过该项目则评分设为0，用该矩阵的每一列作为每个推荐项目的特征；

根据每个用户与推荐系统交互过程中的历史记录(包括用户选择的条目以及用户的评分)，抽取当前时刻之前所有的选择条目和评分，输入到卷积神经网络中，接下来采用卷积层对所有LSTM(时间循环神经网络)单元的输出进行处理，并采用最大值池化与均值池化处理卷积层的输出，作为用户与推荐系统交互的状态表征；

其中，表征用户状态的神经网络参数可以通过步骤S4)的训练过程进行学习；

S3)推荐系统的建模