[发明专利]一种基于神经网络和协同过滤的个性化电影推荐方法

权利要求书

1.一种基于Bert神经网络和协同过滤算法中的Funk-SVD模型相结合的个性化电影推荐方法，其特征在于：包括以下步骤，

步骤1，实验从MovieLens上获取了一组943*1682的评分矩阵，包括1682个item和943个user，对应只产生了100000组评分数据，U-I矩阵的稀疏度为93.7％；在Bert-SVD模型中，从IMDB上通过Python爬虫的方式爬取了每个item的电影情节，再从情节概括中提取的内容特征被用作项目推荐模型中的关键项目因子向量，成为推荐模型的关键组成部分；

步骤2，首先生成一个943*100的user随机特征矩阵和1682*100的item随机特征矩阵，CF算法中的K值在此数据集中选取为100，为了验证加入bert的学习过程对误差的影响，进行了两组对比实验，一个是直接用两个随机特征矩阵，另一个是用bert通过电影情节计算出来的item特征矩阵替换掉原随机值生成的item特征矩阵，后续对运算结果进行了800次的迭代，使系统收敛，得到误差的最小值，因此训练后得到的两个特征矩阵就可以对此数据集中U-I矩阵的空缺项进行预测；

将Bert神经网络输出结果做为Funk-SVD的输入：

用Bert学习电影情节，预期输出结果为一个1682*100的item矩阵，直接代替由matlab随机值经过迭代生成的item特征矩阵；

针对误差的计算采用的是RMSE——均方根误差亦称标准误差，其定义为，i＝1，2，3，…n；在有限测量次数中，均方根误差常用下式表示：[∑di^2/n]^1/2＝Re，式中：n为测量次数；di为一组测量值与真值的偏差；

步骤3，通过800次迭代得到

两个分解的特征矩阵，然后运用这两个矩阵按照公式(4)填充真实的943*1682的U-I矩阵中的评分空缺项；

协同过滤模型中，提出的Bert-SVD模型中采用的协同过滤模型是Funk-SVD，从用户和项目的关系角度出发，最先注重的是显式反馈，即能够以数字形式直接呈现的数据；在下述公式中r(ui)表示的是预测的评分值，u表示所有评分数据的总体平均值，bu表示具体某一个用户的评分偏置，还原现实中人为主观因素对评分的影响，bi表示具体某一个项目所产生的评分偏置，还原现实中由项目属性导致的评分不同的影响，由此通过偏置项的不同来实现特异性的区分；

r(ui)＝u+bi+bu (1)

对于偏置项bi，bu的计算，首先求解了具体某一个用户或项目所产生的评分的平均值n，进而通过与总平均值u的差值获得偏置；

bu＝nu-u (2)

bi＝ni-u (3)

为进一步增加对数据的利用率，加入了对隐式反馈的计算；借助矩阵分解技术，分解形成两个K维的矩阵P,Q，分别用来描述用户和项目的隐式特征，此处通过K来还原算法中对隐式反馈种类个数的需求；

r(ui)＝u+bi+bu+qiTpu (4)

梯度下降法中，由于P,Q矩阵中所有元素的初值是系统随机设定的，通过梯度下降法迭代更新矩阵中所有元素的值至系统收敛，减小误差得到最优解，eui表示某个预测评分与已知评分R(ui)的误差，SSE为平方误差之和；

eui＝R(ui)-r(ui) (5)

SSE＝Σu,i eui2＝Σu,i[r(ui)-Σk＝1 puk qki]2 (6)

经过梯度求解后，下式为最终结果，其中η为学习率，λ为正则化参数，避免过度收敛，按梯度更新后的puk和qki为:

puk＝puk+2η(eui qki-λpuk) (7)

qki＝qki+2η(eui puk-λqki) (8)。

2.根据权利要求1所述的一种基于Bert神经网络和协同过滤算法中的Funk-SVD模型相结合的个性化电影推荐方法，其特征在于：神经网络Bert中，在实验中的数据为电影情节文本，由于描述电影情节的语句较长，与RNN按照时间顺序提取特征相比，transformer可以有效的保证前面的特征不会消失，Bert包括两个步骤：预训练和微调；其中，在预训练过程中Bert遮蔽了输入的15％的电影情节文本，通过一个transformer Encoder来运行整个序列，然后只预测被遮蔽的电影情节部分，以此来达到深层双向的预训练表示；首先，使用Bert的方法将情节文本转化成词向量并获得特征矩阵，然后在CF模型中使用得到的矩阵；Bert使用transformer的结构，Transformer由一些堆叠层组成，每一层由一个注意力层以及一个应用在每个输入元素的非线性函数组成；Transformer迭代地使用句法解析和语义合成的步骤，来解决它们相互依赖的问题，从而更好地生成包含所有电影特征的向量即item特征矩阵。