[发明专利]一种基于协同过滤与深度学习的多注意力推荐方法

说明书

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。本发明包括：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层。输入层将用户信息文本进行文本处理作为词嵌入层的输入，词嵌入层将数据转化为低维稠密的词向量数据，局部上下文注意力层挖掘向量局部特征与上下文特征，多头注意力融合层利用协同过滤中拆分的评分隐向量作为key融入多头注意力，挖掘浅层的评分向量与评论向量之间深层关联特征，相似注意力层运用欧式距离计算用户与物品之间的相似得分，融合决策层将训练的用户特征与评分特征利用FM模型特征组合的能力，提高模型的对用户评分预测效果。

技术领域

本发明涉及一种基于协同过滤与深度学习的多注意力推荐方法，属于自然语言处理中的推荐算法领域。

背景技术

互联网高速发展，衍生了海量的数据，我们已经进入了一个信息爆炸的时代，每时每刻都有海量信息产生，然而这些信息并不全是个人所关心的，用户从大量的信息中寻找对自己有用的信息也变得越来越困难。另一方面，信息的生产方也在绞尽脑汁的把用户感兴趣的信息送到用户面前，每个人的兴趣又不尽相同，所以可以实现千人千面的推荐系统应运而生。其中基于协同过滤的传统的机器学习方法以及基于深度学习的推荐算法不断被推出，但基于协同过滤的评分模型由于数据的稀疏性与冷启动问题一直严重限制了其推荐效果。诸多研究利用深度模型去挖掘评论文本中的抽象特征，虽取得推荐性能的提升，却忽略了矩阵分解的浅层隐向量特征。如何充分挖掘评论与评分矩阵的特征的以及结合协同过滤算法于深度学习算法的问题迫待解决。

发明内容

本发明要解决的技术问题是：提供一种算法模型，解决评分模型被数据的稀疏性制约性能的问题，解决CNN作为特征的提取工具，却未能很好的解决语句长序特征丢失问题；解决充分挖掘评分隐向量与评论特征之间的深层关系的问题；解决用户特征与物品特征结合推荐的交互问题。

本发明采用的技术方案是：一种基于协同过滤与深度学习的多注意力推荐方法。本发明由六个结构构成，分别是：输入层，词嵌入层，局部上下文注意力层，多头注意力融合层，相似注意力层，融合决策层，具体步骤如下：

第一步：采用Amazon 5-core数据集作为模型的训练集，在输入层中将训练集做特征提取的预处理操作并拆分为用户物品评分矩阵和评论矩阵。

第二步：在词嵌入层中采用协同过滤模型将用户物品评分矩阵分解为用户以及物品隐向量矩阵，并使用与词向量模型将评论数据转化为更易处理的低维稠密的词向量数据。

第三步：运用CNN与全连接网络捕捉词向量局部与全局特征。

第四步：运用多头注意力挖掘评分隐向量与评论向量的多维关系。

第五步：运用欧式距离法计算用户与物品的交互关系。

第六步：运用Softmax激活归一化，后将FM特征组合特征后输入损失函数进行回归训练

所述第一步的输入层是对按比例分割的训练集的文本做预处理和数据清洗，以及数据的分类处理。

所述第二步的词嵌入层是对处理好的文本经过Word2Vec模型得到评论的词向量以及协同过滤模型得到用户以及物品的隐语义矩阵。

所述第三步运用CNN的局部卷积获得局部特征并结合全连接网络捕捉词向量全局特征，使用全连接网络弥补卷积神经网路丢失的全局信息。

所述第四步运用多头注意力挖掘评分隐向量与评论向量的多维关系，深挖用户的评分的浅层特征与用户评论的深层隐含特征之间的深层关系，使得模型能够从用户数据中得到深层训练。

所述第五步欧式距离法计算用户与物品的交互关系，不依赖于传统的静态关系推荐，转而使用用户与物品一一对应的动态关联运算，提高了用户预测评分的针对性。