[发明专利]基于NAG动量优化的隐语义模型优化方法

说明书

本发明公开了一种基于NAG动量优化的隐语义模型优化方法，改进了隐语义模型推荐算法中最小化损失函数寻找最速下降方向较难的问题，引入了Nesterov动量对传统的隐语义模型算法进行优化。首先，发明在原有的方法中在算法中加入中间动量∆P、∆Q，代替梯度下降方向的求取，其次，在∆P、∆Q的迭代过程通过加入冲量γ和中间动量的校正因子ξ进行求解，实现加速收敛，从而改变加快变量的变化速度，从而以较小的学习速率得到最优的结果。改进后本发明准确率明显提升，根据用户对物品的偏好关系或兴趣度进行推荐更加准确。

技术领域

本发明涉及一种隐语义模型优化方法，尤其涉及一种基于NAG动量优化的隐语义模型优化方法。

背景技术

随着互联网的广泛应用，为人们带来了大量的信息资源，如何从大量的信息中向用户准确地推荐他们想要的信息成为亟待解决的问题。推荐系统是主动地从大量信息中找到用户可能感兴趣的信息的工具，它可以根据用户的需要，通过信息分析和数据挖掘来改变，提高用户获取信息的效率和准确性。隐含因子模型(Latent Factor Model,LFM)推荐算法是由Simon Funk提出的一个算法。LFM算法是对奇异值分解(Singular ValueDecomposition,SVD)的改进，其思想是把用户与项目映射到相同的隐含因子空间,该算法通过隐类关联用户和项目，采用矩阵分解技术建立用户-隐类、隐类-项目间的关系矩阵，利用矩阵乘积得到用户对物品的偏好关系并进行推荐。

随机梯度下降算法是LFM中最基础的核心算法，通过求参数偏导数找到最速下降方向，然后不断迭代进行参数优化。对于学习速率α的选取来说，选择一个合理的学习速率很难。如果学习速率过小，则会导致收敛速度很慢。如果学习速率过大，那么其会阻碍收敛，即在极值点附近会振荡。因此如何改进以提高学习速率，降低学习时间，从而保证收敛速度非常有必要。

Nesterov accelerated gradient是涅斯捷罗夫梯度加速的意思，简称NAG,是对随机梯度下降算法Momentum的改进，该算法在深度学习领域研究应用比较广泛，推荐算法中无应用。

发明内容

本发明的目的就在于提供一种解决上述问题，改善隐语义模型推荐算法中最小化损失函数，寻找最速下降方向较难的问题，引入了动量对传统的隐语义模型算法进行优化基于NAG动量优化的隐语义模型优化方法。

为了实现上述目的，本发明采用的技术方案是这样的：一种基于NAG动量优化的隐语义模型优化方法，包括以下步骤：

(1)给定包含所有用户物品的数据集，生成用户-物品矩阵R，利用奇异值分解将矩阵R分解为用户-隐类矩阵P，隐类-物品矩阵Q，R中元素为r_ui，表示第u个用户对第i个物品的评分，P中元素为p_uf，其中f为隐因子个数，p_uf表示第u个用户对第f个隐因子的评分值，Q中元素表示为q_fi，表示第i个物品在第f个隐因子中的权重；

(2)将矩阵P和矩阵Q中每个元素初始化为随机元素值，每一项元素限值在区间(0，1)中；

(3)定义损失函数Loss；

式中，规定每个用户对他曾经有过行为的物品为正样本，r_ui＝1，反之则为0，λ是正则项系数，λ||p_uf||²+λ||q_fi||²为用来防止过拟合的正则化项；

(4)通过对损失函数求p_uf和q_fi的偏导数，得到最佳下降方向，即中间动量ΔP、ΔQ；