[发明专利]一种基于深度强化学习的推荐系统构建方法

权利要求书

1.一种基于深度强化学习的推荐系统构建方法，其特征在于包括如下步骤：

S1)建立用户与推荐系统交互的特征表征集合

用户与推荐系统交互的过程采用马尔可夫决策过程S,A,P,R表示，其中，S为状态集合，即用户与推荐系统交互的特征表征集合，A为用户可选择的项目集合，在t时刻下选择的项目记为a_t，P(s_t+1|s_t,a_t)为状态转移函数，即当前时刻状态s_t下用户选择项目a_t后下一时刻状态s_t+1的概率，R(s_t+1|s_t,a_t)为回报函数，即用户对当前状态s_t选择项目a_t后用户的评分，推荐系统的优化目标是最大化用户的期望总评分；

S2)建立用户与推荐系统交互的状态表征

根据所有用户的历史记录，建立U行M列的用户评分矩阵，其中，U为用户的总数，M为推荐项目的总数，评分矩阵的第i行第j列表示第i个用户对第j个项目的评分，如果用户没有评价过该项目则评分设为0，用该矩阵的每一列作为每个推荐项目的特征；

根据每个用户与推荐系统交互过程中的历史记录，选取用户的历史选择项目与评分，对每个历史项目采用递归神经网络进行建模，并采用卷积神经网络对递归神经网络的输出进行处理，采用池化层处理卷积神经网络的特征，作为用户与推荐系统交互的特征表征；

S3)推荐系统的建模

采用演员-批评家(Actor-critic)框架对推荐系统进行建模，其中，演员模块输入当前观测到的用户状态，输出基于用户的状态所给予的推荐项目，批评家模块接收当前状态及选择项目的表示作为输入，负责对当前用户观测到的状态下的可选择条目进行评估，评估其未来可能收到的期望回报；

演员模块和批评家模块均采用神经网络表示；其中，演员模块采用进制转换的方法针对推荐系统的条目进行映射，并用把每个推荐条目的编码用B进制进行表示，演员模块神经网络输出为log_BM个实数值，每个实数值范围为[0,B-1]；

S4)推荐系统的训练

采用确定性策略梯度算法DDPG，利用用户的历史数据训练演员网络和批评家网络；

S5)推荐系统的部署

在线上部署平台上，利用步骤S4)训练好的演员网络，根据用户的当前状态，结合演员模块与批评家模块的输出值，推荐相应的项目。

2.根据权利要求1所述的一种基于深度强化学习的推荐系统构建方法，其特征在于：

所述步骤S4)中，利用历史数据对演员模块和批评家模块进行训练的方法为：针对每个用户的评分数据，按照步骤S2)的特征表示方法抽取当前时刻的特征s_t与下一时刻的特征s_t+1，当前用户评价r_t作为即时回报，把用户选择的项目的索引编号转为B进制编码作为动作a，存储s_t,a_t,r_t,s_t+1到DDPG算法的经验缓存中，并利用DDPG算法对演员模块和批评家模块进行训练。

3.根据权利要求1所述的一种基于深度强化学习的推荐系统构建方法，其特征在于：

所述步骤S5)中，推荐系统的部署方法为：根据当前状态输入到演员模块得到选择条目的编码，利用相似度评估方法，计算所有推荐项目的B进制编码和演员模块输出编码的相似度，并选择相似度最大的K个项目，评估其在当前状态下批评家模块的输出值，选择批评家模块输出最大的N个项目作为推荐条目输出给用户。