[发明专利]一种基于强化学习和加权元路径的语义推荐方法

说明书

本发明公开了一种基于强化学习和加权元路径的语义推荐方法，属于推荐算法技术领域，包括收集用户各类实体属性信息、获取记录中用户和物品的异构信息网络，对提取的记录以及各类实体属性信息进行预处理并分析，利用强化学习算法计算不同元路径的权重，自主学习不同元路径的权重，构建马尔可夫决策过程，对元路径的权重进行训练，得到元路径选择权重的信息并生成记录，构建深层决策网络并训练，设计经验池、预测网络和结果网络，对输出的奖励值进行拟合得到最佳权重，依据得到的最佳权重的元路径，计算用户相似度，并选取Top‑N进行排列，完成推荐。本发明能够结合用户的购买记录以及其他信息进行个性化推荐，提高了推荐的准确性。

技术领域

本发明涉及推荐系统技术领域，尤其是一种基于强化学习和加权元路径的语义推荐方法。

背景技术

推荐是一种把用户相关检索内容、推荐并展现给用户的过程，利于用户主动获取到相关信息帮助用户快速的找到符合需求的信息，很大程度上节省了用户的时间。现在推荐方法逐渐成熟，已经广泛应用在各行各业中，比如在电商行业、音乐行业、新闻媒体行业、视频软件行业等都有很出色的表现，给人们生活提供极大的便利，推荐系统除了能够给人类生活带来生活上的便利，也能给企业带来更多的效益，比如淘宝、京东、抖音等应用都有自己的推荐方法，使企业效益在很大程度上有了提升。

随着推荐系统的技术逐步成熟，较早的推荐方法已经不能满足现在人们的要求。后来随着异构信息网络(Heterogeneousinformationnetwork,HIN)技术的兴起，越来越多的研究者注意到HIN的重要性，HIN包含了多种实体类型的信息，而且不同的元路径代表着不同的信息；但基于元路径的相似度方法进行推荐依然存在缺陷，主要是元路径选择不合理导致基于元路径的相似性方法不可靠，很多没有考虑到元路径的权重问题，无法将包含有语义特征的元路径进行重点训练，无法准确推荐并提供可解释性。

近年来，随着强化学习(ReinforcementLearning,RL)的不断发展，也为推荐方法提供了新思路，强化学习的原理是利用智能体和环境的不断交互选择最优动作，最后实现回报最大化。近年来有很多学者将强化学习用于推荐系统中，都得到了不错的实验效果；同时语义推荐是要从语义理解的角度分析用户的请求和信息资源，并以此来进行搜索，从而更准确地向用户推荐符合其需求的搜索结果。

因此，有必要研发一种融合强化学习和加权元路径的语义推荐方法，以满足用户的个性化需求，提高推荐的准确性，更能增加推荐的解释性。

发明内容

本发明需要解决的技术问题是提供一种基于强化学习和加权元路径的语义推荐方法，解决了现有技术中存在的缺陷，能够结合用户的购买记录以及其他信息进行个性化推荐，提高了推荐的准确性。

为解决上述技术问题，本发明所采用的技术方案是：

一种基于强化学习和加权元路径的语义推荐方法，包括以下步骤：

S1、收集用户购买记录、评分记录、各类实体属性信息，获取记录中用户和物品的异构信息网络；

S2、对S1中收集的用户购买记录、评分记录以及各类实体属性信息进行预处理，对数据清洗，将处理好的数据作为后续模型训练的输入；

S3、将S2处理好的数据进行分析，不同的元路径代表着不同的语义关联信息，在异构信息网络中综合考虑实体的属性，利用不同元路径语义信息度量异构信息网格中用户的相关性；

S4、利用强化学习算法计算不同元路径的权重，自主学习不同元路径的权重，构建马尔可夫决策过程，根据数据的特点设计状态、动作、环境、奖励函数，对元路径的权重进行训练，得到元路径选择权重的信息并生成记录；

S5、基于元路径选择权重的信息记录，构建深层决策网络，设计经验池、预测网络和结果网络，对深层决策网络进行训练，然后对输出的奖励值进行拟合，得到最佳权重；