[发明专利]基于深度强化学习的信息流推荐方法、装置、设备及介质

说明书

本申请实施例公开了一种基于深度强化学习的信息流推荐方法、装置、设备及介质，涉及信息处理技术领域。该方法包括：采集目标用户的历史点击序列；调用预设的actor神经网络和critic神经网络；生成用户推荐列表，向目标用户展示用户推荐列表，以获取反馈结果数据和反馈后产生的新的历史点击序列；计算时间差分误差；更新critic神经网络和actor神经网络中的参数；生成新的用户推荐列表，并展示新的用户推荐列表，直至无法获取到目标用户针对新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。所述方法增强了推荐系统与用户的交互性，对用户的反馈进行了实时利用，能不断地优化推荐引擎，提升推荐的质量，提升用户体验，以有效地吸引用户留存。

技术领域

本申请实施例涉及信息处理技术领域，特别是一种基于深度强化学习的信息流推荐方法、装置、设备及介质。

背景技术

随着人工智能的发展，越来越多的产品应用利用人工智能以提高用户与产品之间的交互体验，如根据用户的兴趣特点和购买行为，向用户推荐用户感兴趣的产品。而随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题，商品推荐系统建立在海量数据挖掘和智能决策的基础之上，帮助电子商务网站为其顾客购物提供有效的决策支持和信息服务。

商品推荐系统利用一些推荐算法从用户的行为和偏好中发现规律，并由此进行推荐。目前，现有的推荐算法模型一般都忽略了与用户的交互过程，只关注用户的行为，而且没有充分的利用用户的实时反馈，并根据用户的反馈对模型作出进一步的改进。使现有的推荐系统缺乏与用户的交互性，容易导致用户对推荐的信息不感兴趣，在信息流场景下用户的访问体验提升不高。

发明内容

本申请实施例所要解决的技术问题是，提供一种基于深度强化学习的信息流推荐方法、装置、设备及存储介质，增强推荐系统与用户的交互性，并能不断优化推荐结果，提升信息推荐的质量。

为了解决上述技术问题，本申请实施例所述的一种基于深度强化学习的信息流推荐方法，采用了如下所述的技术方案：

一种基于深度强化学习的信息流推荐方法，包括：

基于目标用户的信息流采集所述目标用户的历史点击序列；

调用预设的actor神经网络和critic神经网络；

将所述历史点击序列输入所述actor神经网络生成用户推荐列表，并向目标用户展示所述用户推荐列表，以获取所述目标用户针对所述用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列；

将历史点击序列和新的历史点击序列分别输入所述critic神经网络，以结合所述反馈结果数据计算时间差分误差；

基于所述时间差分误差更新所述critic神经网络中的参数，进而结合所述时间差分误差和所述用户推荐列表更新所述actor神经网络中的参数；

将新的历史点击序列输入更新后的actor神经网络生成新的用户推荐列表，并向目标用户展示所述新的用户推荐列表，直至无法获取到所述目标用户针对所述新的用户推荐列表的反馈结果数据和反馈后产生的新的历史点击序列为止。

本申请实施例所述的基于深度强化学习的信息流推荐方法，利用actor-critic神经网络架构，增强了推荐系统与用户的交互，对用户的反馈进行了实时利用，能不断地优化推荐引擎，使用户的反馈直接作用于下一次推荐结果，提升推荐的质量，让用户体验得以提升，从而增加每次用户的访问时长和用户来访频率，有效地吸引用户留存。

进一步的，所述的基于深度强化学习的信息流推荐方法，所述将所述历史点击序列输入所述actor神经网络生成用户推荐列表的步骤包括：