[发明专利]基于图神经网络和强化学习的交互电影推荐系统及方法

说明书

本发明公开了一种基于图神经网络和强化学习的交互电影推荐系统及方法，目的是实现在一段时间内用户体验的最优化。同时通过用户的历史交互数据构建电影相似度无向图，获得更精确的电影表达，提高电影推荐准确度。技术方案为：本发明的设计分为4个模块构图模块、电影向量生成模块、用户向量生成模块以及推荐模块。本发明的步骤包括构建电影相似度无向图、构建图神经网络以获得电影向量表示矩阵、构建注意力模块提取并融合用户观影历史中所含信息以获得用户向量表示、构建多层感知机模型拟合推荐策略、按状态动作值排序并生成推荐电影。本发明提供一种电影相似度无向图的构建，并通过图神经网络的引入有效提高电影推荐准确度。

技术领域

本发明属于交互推荐技术领域，具体涉及一种基于图神经网络和强化学习的交互电影推荐系统及方法。

背景技术

随着大数据时代的来临，用户和平台都面临信息过载的问题。因此平台希望通过个性化推荐系统为用户筛选有效信息，提升用户使用体验的同时促进平台收益。个性化推荐系统已经被广泛应用于电商平台、视频网站、社交媒体等信息工业的各个领域中。

传统的个性化推荐系统可以分为基于用户的个性化推荐，基于内容的个性化推荐以及基于协同过滤的个性化推荐。传统个性化推荐系统无法对用户的动态兴趣进行建模，在冷启动场景下没有足够的数据用以准确预测。因此研究开始关注交互推荐系统(Interactive Recommender Systems,IRS)，在交互过程中对模型进行优化，在用户兴趣的动态建模和用户冷启动推荐具有优势。

目前交互推荐系统的研究主要集中在两个技术方向，分别为上下文老虎机(Contextual Bandit)和强化学习。

上下文老虎机方法已被广泛应用于新闻推荐、协同过滤、在线广告推送以及电商推荐等领域。但是上下文老虎机方法存在一定的局限性：(1)该方法模型只对线性模型有良好的拟合预测效果；(2)由于赌博机方法试图约束实际所得反馈和理想所得反馈之间的上限，是对最差情况的约束，方法过于悲观。强化学习方法是在马尔科夫决策过程中对方法的优化，而推荐过程是一个典型的马尔科夫决策过程。因此强化学习方法适用于推荐系统。目前基于强化学习的推荐方法在实际应用中还存在以下几个问题：(1)推荐准确度不高；(2)动作空间过大；(3)离线仿真环境搭建困难；(4)强化学习框架在线应用和优化流程设计复杂。

发明内容

发明目的：本发明针对基于强化学习的推荐方法推荐准确度不高的问题，设计一种新型电影相似度无向图，并结合图神经网络，实现了一种基于图神经网络和强化学习的交互电影推荐系统及方法。

上述的目的通过以下技术方案实现：

本发明解决技术问题所采用的技术方案是：一种基于图神经网络和强化学习的交互推荐系统，该系统包括构图模块、电影向量生成模块、用户向量生成模块和推荐模块；

构图模块：用于根据数据库中用户与电影交互历史数据，构建电影相似度无向图，并获取电影相似度无向图的邻接矩阵A；

电影向量生成模块：用于将电影相似度无向图的邻接矩阵A和随机初始化的电影向量表示矩阵E作为输入，经过所构建的图神经网络模型，获得更新后的电影向量表示矩阵E′；

用户向量生成模块：将更新后的电影向量表示矩阵以及用户在仿真交互环境中的当前历史观影记录作为输入，经过所构建的自注意力网络模型的计算，输出用户特征向量表示；

推荐模块：将当前用户特征向量作为输入，经过多层感知机网络模型拟合策略，输出最终对该用户当前状态下的电影推荐。

进一步的，所述电影向量生成模块包括：向量初始化模块和图神经网络模块；

向量初始化模块：用于对电影向量进行随机初始化。令电影向量维度为d，则所初始化的电影向量矩阵为N为电影的总数量；