[发明专利]一种基于文本信息的深度强化学习交互式推荐方法及系统

说明书

本发明公开了一种基于文本信息的深度强化学习交互式推荐方法及系统，属于交互式个性化推荐领域，包括：基于文本信息将商品和用户分别转换为商品向量和用户向量，并对用户进行聚类；基于DDPG为每个用户类别建立推荐模型，并建立全局的环境模拟器；对于任意一个推荐模型，在第t轮交互中，构建动作候选集Can(usubgt;i/subgt;,t)；策略网络以当前用户的状态ssubgt;t/subgt;为输入，得到策略向量psubgt;t/subgt;后，根据psubgt;t/subgt;从Can(usubgt;i/subgt;,t)中选出动作向量asubgt;t/subgt;；估值网络以psubgt;t/subgt;和ssubgt;t/subgt;为输入，计算Q值，用于评价psubgt;t/subgt;的优劣；每一轮交互中，环境模拟器计算反馈奖励值，并更新当前用户的状态；反馈奖励值输出至估值网络，矫正估值网络，Q值反向传导至策略网络，调整策略网络，以获得更优的策略向量。本发明能够提高推荐效率和推荐准确度。

技术领域

本发明属于交互式个性化推荐领域，更具体地，涉及一种基于文本信息的深度强化学习交互式推荐方法及系统。

背景技术

随着互联网信息量的迅速增长，信息之间的差异也在不断增加，与此同时用户对差异信息的不同选择也表现出了明显的聚类特征。为了持续个性化地推荐，出现了一系列交互式推荐系统(Interactive Recommender System,IRS)的研究成果。强化学习可以在动态交互过程中持续学习并使回报最大化，使其最近在IRS中引起了广泛关注。

强化学习是机器学习的重要分支，是在与环境交互中寻找最优策略的一类方法。强化学习求解最优策略的过程非常类似于人类学习的过程，其通过与环境的交互和试错，不断改进自身策略，获取更大的奖励。强化学习与机器学习中的其他领域的主要区别在于，强化学习是一个主动学习的过程，没有特定的训练数据，智能体需要在不断与环境交互的过程中获得样本；在强化学习中，奖励承担了监督信号的作用，智能体依据奖励进行策略优化。近年来，强化学习与深度神经网络进行了广泛结合，产生了一个交叉领域，被称为深度强化学习(Deep Reinforcement Learning，DRL)，由于深度学习对复杂的高维数据具有良好的感知能力，而强化学习适用于进行策略学习，因此将二者结合产生的DRL算法同时具有感知复杂输入和进行决策的能力。

虽然深度强化学习能够在一些任务中取得很好的效果，但是，深度强化学习在IRS下的应用通常面临离散动作空间过大的问题，这使得现在大多数基于强化学习的推荐方法效率低下。此外，随着数据稀疏性的增加，仅使用对稀疏性敏感的评分矩阵或者交互矩阵会使推荐效果急剧下降。总的来说，现有的采用深度强化学习的推荐方法，普遍存在效率低下、推荐效果差的问题。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于文本信息的深度强化学习交互式推荐方法及系统，其目的在于，解决现有的深度强化学习推荐方法中存在的效率低、推荐效果差的问题。

为实现上述目的，按照本发明的第一方面，提供了一种基于文本信息的深度强化学习交互式推荐方法，包括：数据预处理阶段和强化学习交互式推荐阶段；

数据预处理阶段包括：

根据商品的描述信息和评论信息将各商品转换为对应的商品向量；

基于用户历史记录中具有正评分的商品及其商品向量，将各用户转换为对应的用户向量；

根据用户向量对用户进行聚类，得到用户类别信息；

强化学习交互式推荐阶段包括：

基于DDPG为每个用户类别C_l建立推荐模型，并建立一个与各推荐模型进行交互的全局的环境模拟器；