[发明专利]一种基于动态注意力和分层强化学习的推荐系统

说明书

本发明公开了一种动态注意力和分层强化学习的推荐系统，包括用户画像矫正器：通过删除噪声数据来修改用户画像；(2)动态注意力机制：自动调整用户偏好的变化；(3)推荐模型：向相关用户推荐目标物品。所述推荐系统具有以下特点：动态注意力机制通过一个多层感知器自动调整每个交互过程中相应物品的attention权重，并将基于分层强化学习的用户画像矫正器合并到一个统一的框架中；其次，为了增强推荐系统的自适应性，以提高推荐的准确性，推荐系统针对不同时段物品交互的信息，在attention权重上增加了一个自适应系数，以便在每个推荐阶段自动更新相应物品的attention权重；最后，与HRL模型相比，本推荐系统可以提高策略评估的收敛速度，每个推荐阶段的开销时间更少。

技术领域

本发明涉及基于注意力的智能推荐技术领域，尤其涉及一种基于动态注意力和分层强化学习的推荐系统。

背景技术

虽然目前基于注意力(attention)的模型在推荐系统中具有一定的竞争力，但仍存在一些明显的缺陷。首先，它们忽略了用户对时序行为的动态兴趣。换言之，这些模型在每次交互过程中无法更好地选择用户画像来推荐目标物品，尤其是当用户对不同物品的兴趣随着时间的推移而动态变化的场景下。例如在NAIS注意力模型中，attention网络中的权重矩阵严重依赖于相应物品的嵌入(embedding)向量，而没有考虑其他因素来获取上下文信息，这就降低物品推荐的准确性。其次，这些模型没有考虑推荐系统的自适应性。例如，在推荐目标物品中有贡献作用的物品的效应通常随着用户与物品之间的交互而变化，导致在不同的推荐阶段中这些有贡献作用的物品的attention权重很可能会发生变化，在这种情况下，这些模型无法向相关用户推荐准确的目标物品，从而影响推荐的有效性。

发明内容

有鉴于现有技术的缺陷(不足)，我们提出一种基于动态注意力和分层强化学习(DARL)的推荐系统，包括以下技术方案：

一种基于动态注意力和分层强化学习的推荐系统，包括：用户画像矫正器、动态注意力机制和推荐模型；所述用户画像矫正器用于通过删除噪声数据来修改用户画像；所述动态注意力机制用于自动调整用户偏好的变化；所述推荐模型用于向相关用户推荐目标物品。

进一步的，所述用户画像矫正器的任务为层次化的马尔可夫决策过程，其中高层动作a^h∈{0，1}决定是否修改整个用户画像ε^u，低层动作决定删除哪个物品当高层动作根据高层策略决定修改整个用户画像时,它将根据低层策略调用低层动作来消除噪声物品后,智能体在执行最后一个低层动作后将收到延迟奖励。

进一步的，所述用户画像矫正器基于分层强化学习，所述分层强化学习的目标是获得期望收益最大化的最优策略参数，如下所示：

其中，θ表示策略的参数，τ表示采样的序列，P_θ(τ)是对应的抽样概率，R^*(τ)为采样序列中遵循策略π的动作值函数。

进一步的，所述分层强化学习包括高层策略和低层策略；

所述高层策略的策略函数的参数梯度定义为：

其中，是采样序列τⁿ中的一对动作-状态，t_u表示用户在采样序列中交互过的物品数量，是高层任务中每个采样序列τⁿ的动作值，它是一个延迟奖励；此处省略了a，s和θ的上标h；

所述低层策略的策略函数的参数梯度定义为：

其中是低层任务中每个采样序列τⁿ的动作值，它也是一个延迟奖励，是一个低层任务中的内部奖励，定义为在修改用户画像前后目标物品与交互过的物品的平均余弦相似度之差；此处省略了a，s和θ的上标l。