[发明专利]一种基于深度强化学习的推荐算法

摘要

本发明提出一种基于深度强化学习的推荐算法，构建了MainNet神经网络和TargetNet神经网络的双网络结构模型，其中MainNet神经网络是主神经网络，用于得到户对推荐列表，TargetNet神经网络用于训练模型参数，得到最优模型参数，并不断更新模型参数，作为MainNet神经网络的输入的当前状态不仅包括长期特征，而且包括外部条件特征，为用户购物行为的准确预测奠定了基础。本发明克服了传统机器学习的缺点，不需要历史数据积累，只要网站存在交易行为，该算法可以实现自我学习，自我优化和自我完善。

主权项

1.一种基于深度强化学习的推荐算法，其特征在于，它包括以下步骤：S1：初始化经验池，设置其容量W，经验池是商品推荐动作的集合，用于存储训练样本，开始训练之前经验池为空；S2：建立MainNet神经网络，并对其进行初始化，所述的MainNet神经网络是主神经网络，用于得到推荐列表；S3：建立TargetNet神经网络，并对其进行初始化，所述的TargetNet神经网络用于训练模型参数，得到最优模型参数；S4：设定训练片段总数M；S5：依据t时刻用户最近浏览的N个商品，初始化当前状态st，若用户最近浏览的商品为空，以N个热门商品代替；S6：当前状态st作为MainNet神经网络的输入，得到当前状态st下可选动作的Q值列表Q(st,at,θu)，其中，st是当前状态，at是执行动作，θu是MainNet神经网络的参数；S7：根据执行动作at，用户按照自己的兴趣进行点击/购买/忽略后，计算奖赏rt和下一状态st+1；S8：将商品推荐动作集合(st,at,rt,st+1)存入经验池中；S9：循环执行步骤S6‑S8，直至经验池中存放着W个训练数据；S10：随机从经验池中取出M个训练数据，将训练数据中的每一个下一状态st+1作为TargetNet神经网络的输入，得到下一状态st+1下可选动作的Q值列表Q(st+1,at+1,θu′)；S11：更新MainNet神经网络的参数θu；S12：每经过C轮迭代，其中C为预设的迭代数值，将MainNet神经网络的参数复制给TargetNet神经网络。