[发明专利]基于强化学习的多样化推荐方法、系统及存储介质

说明书

本发明提供一种基于强化学习的多样化推荐方法，其特征在于，包括如下步骤：S1：获取训练样本，确定并初始化网络参数；S2：执行策略生成行动；S3：评估所述策略并优化；S4：通过评论网络监督损失；S5：更新探索概率。所述方法能够在较长阶段的运行过程中，通过奖赏来驱动最优推荐序列的获取，通过试错，从好的推荐动作中得到较高奖赏，最终学习出各种状态下最优的推荐列表来最大化长期收益。

技术领域

本发明涉及电子商务物品推荐领域，具体涉及一种基于强化学习的多样化推荐方法、系统及存储介质。

背景技术

当今的电子商务平台广泛应用了推荐系统，它通过分析用户的历史行为信息，预测用户对某些物品的喜好程度，向其推荐一组物品，达到在海量物品中进行信息过滤的目的。推荐系统早期的方法主要是基于内容的推荐或协同过滤推荐，具体的实施方式有许多，有的利用了用户之间的相似性，有的利用了物品之间的相似性，还有的是进行用户特征与产品特征的匹配。早期方法具有较大局限性，后续也有大量的改进算法被提出来，同时也提出了对推荐效果的评价。如果单纯自救满足物品本身与用户兴趣的匹配度，会导致一个严重的问题，即推荐的多个物品可能具有较高的同质性，是一种单调的、冗余的推荐，不能满足用户多方面的兴趣。为此已有人提出推荐方法多样性的评判标准，它指是是推荐物品间要有一定的差异性，推荐结果集要覆盖尽可能多的产品类别，满足用户多方面的潜在兴趣。

实现多样化的关键是对候选物品推荐排序时不仅考虑候选物品本身与用户兴趣的匹配度，同时还要考虑与其他推荐物品之间的区分度。传统使用启发式方法来达到多样化，需要预定义一个打分公式，综合评估物品的用户兴趣匹配程度和物品间的差异程度。这种方法虽然简单，但定义一个通用的打分公式十分困难，常常需要根据使用环境手工调整参数，并且难以达到全局最优。也有使用监督学习方法开展多样化推荐，但获取充足的训练样本十分困难，就算得到了，它们可能与实际运行样本之间可能存在较大差异，另外多样化评估指标并不能直接用于指导训练过程。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于强化学习的多样化推荐方法，所述方法能够在较长阶段的运行过程中，通过奖赏来驱动最优推荐序列的获取，通过试错，从好的推荐动作中得到较高奖赏，最终学习出各种状态下最优的推荐列表来最大化长期收益。

基于上述目的，本发明的一个方面，提供一种基于强化学习的多样化推荐方法，该方法包括如下步骤：

S1：获取训练样本，确定并初始化网络参数；

S2：执行策略生成行动；

S3：评估所述策略并优化；

S4：通过评论网络监督损失；

S5：更新探索概率。

作为优选，步骤S1具体包括：

输入带标签的训练样本集合，其中包含监督样本；确定并初始化算法参数，包括确定推荐列表长度T，探索概率衰减系数ξ，监督损失函数系数λ与τ，并对各参数进行初始化。

作为优选，步骤S1中，训练样本的获取方法包括：

基于LSTM的生成推荐列表，过程如下：

a)输入某用户的兴趣特征向量、候选物品集合，初始化LSTM隐状态及决策序列；

b)向LSTM输入用户兴趣向量作为状态；

c)逐个处理候选物品，计算各物品的选择概率，当最大选择概率小于探索概率时，采用随机采集方法进行采样；当最大选择概率大于等于探索概率时，采用贪心方法取最大动作概率对应物品；

d)根据LSTM网络获取输出，形成动作，计算奖赏；

e)构造新的推荐物品列表，直到达到预定数量。

作为优选，步骤S3具体包括：