[发明专利]一种基于强化学习框架的推荐系统离线训练方法

权利要求书

1.一种基于强化学习框架的推荐系统离线训练方法，其主要特征包括以下步骤：

(1)根据所有用户的历史记录，建立N行M列的全局评分矩阵(N表示用户总数，M表示商品总数)，矩阵中第i行第j列的元素r_i，j表示用户u_i对商品v_j的评分，通过隐语义模型LFM矩阵分解，得到用户和商品的隐向量表示；

(2)使用深度Q网络DQN算法，选择相应的商品，最大化长期回报，根据用户反馈，实时捕捉用户的兴趣变化；

(3)结合用户历史信息，维护一个长度为l的时间窗口，根据该窗口中的历史信息计算用户i的参考向量e_i，结合参考向量e_i对商品集进行过滤，降低DQN的计算复杂度。

2.根据权利要求1所述的基于强化学习框架的推荐系统离线训练方法，其特征在于步骤(2)实时地更新用户的兴趣表示，其实现包括：

(21)计算当前商品的向量表示与用户兴趣的差异。直接计算U_i(t)和V_j(t)在各个维度上的差值，并归一化到区间[-1，1]。计算方式如式(1)所示：

D(U_i(t)，V_j(t))＝scale(U_i(t)-V_j(t)，[-1，1]) (1)其中，U_i(t)和V_j(t)分别为用户u_i和商品v_j在t时刻的兴趣向量表示；D(U_i(t)，V_j(t))是一个k维向量，用来衡量在t时刻，U_i(t)和V_j(t)在各个维度上的差异；scale(x)为归一化函数，即将x的值归一化到[-1，1]。也可以采用其它度量向量相似性的指标；

(22)由于用户的兴趣会随着时间变化而变化，而商品的特征一般不会改变。固定商品的向量表示V，在V的基础上增加一个很小的噪声，这样做的目的是，考虑到最初矩阵分解得到的商品向量表示，可能并不能完美地表征商品的所有信息。

从t时刻到t+1时刻(这里的时刻不是具体的时间度量，而是代表更新的周期)，更新用户的兴趣表示。如果从时刻t到时刻t+1，用户u_i对商品v_j的R_i，j发生了变化，则通过最小化式(2)求解参数α，然后将参数α代入式(3)来更新用户状态，式(2)和式(3)如下所示：

U_i(t+1)＝U_i(t)+αD(U_i(t)，V_j(t)) (3)

其中，S_i(t)表示对于用户u_i，从时刻t到时刻t+1，使R_i，j发生了变化的任意商品v_j的集合，待求解参数α表示更新的幅度。计算得到的U_i(t+1)即为在t+1时刻，用户i的状态表示s(t+1)，噪声noise可以从一个高斯分布中产生。

3.根据权利要求1所述的基于强化学习框架的推荐系统离线训练方法，其特征在于步骤(3)结合参考向量e_i对商品集进行过滤，降低DQN的计算复杂度，其实现包括：

(31)对于用户u_i，记录用户在最近一段时间内感兴趣的l个商品的向量表示，记作(如果不满l个则用零向量填充)。为用户u_i维护一个参考向量e_i定义为中所有向量之和。e_i的计算方式如式(4)所示：

根据式(5)计算sim(a_j，e_i)，如果得到的sim值小于β(这里的β可以根据具体的应用场景来确定)，则过滤掉当前的动作a(商品)。相较于计算Q值需要经过多层神经网络的矩阵运算，计算sim只需要经过一次向量点乘，这样减少了计算的复杂度，提高了运算效率。