[发明专利]基于BERT的深度学习序列推荐系统

说明书

本发明公开了一种基于BERT的深度学习序列推荐系统，该方法包括以下步骤：通过嵌入层将稀疏高维的用户和物品特征映射成稠密低维矩阵，并将用户行为序列与物品特征共同嵌入表示，通过转换层训练学习表示用户行为序列，输出层将转化层的结果加上K层隐藏层并用Softmax函数作为分类器得到最终的输出。本发明能够有效利用用户历史行为序列的数据，能够有效利用用户和物品的辅助信息，能够自动从数据中提取特征，避免了人工设计特征的扩展性低的问题，避免了数据稀疏的问题，利用双向模型避免了节点只能从左到右严格有序的单向序列推荐准确率低的问题。

技术领域

本发明涉及推荐系统技术领域，尤其涉及基于深度学习的序列推荐系统。

背景技术

随着互联网行业的发展，我们已经进入一个信息爆炸的时代，数据量呈几何倍数式增长。信息爆炸与大数据技术的发展都促进了个性化推荐技术的快速发展。推荐系统是一种用于解决信息过载问题的个性化服务系统。推荐系统根据用户的偏好推荐其最有可能感兴趣的内容。个性化推荐已成为所有新闻、视频、音频、电商、互联网金融等相关平台的标配。

推荐系统的一个主流分支是基于协同过滤的推荐算法，是应用最广泛的推荐算法，但是它过于依赖历史数据，当数据比较稀疏的时候，推荐的准确率会严重下降。还有一种推荐算法是基于内容的推荐算法，有效地利用了推荐内容本身的特点，但是严重依赖物品的内容标签等数据，依靠人工标注的方法工作量大，也无法保证推荐的准确率。推荐系统往往不是由单一算法组成的，混合推荐系统是指将多种推荐技术进行混合，相互弥补缺点，从而可以获得更好的推荐效果。

深度学习(Deep Learning)是机器学习的研究分支。深度学习允许通过多个处理层来学习具有抽象能力的数据表示，具有更强大的学习能力。深度学习通过反向传播算法来发现大型数据中的复杂结构并更新模型内部参数。最近几年深度学习模型也开始逐步在推荐领域得到应用，特别是词嵌入表示模型(Embedding Models)。词嵌入表示模型最早应用于自然语言处理领域中，由于简单有效也被应用到推荐系统中。词嵌入表示模型同时构建用户和物品的嵌入式表示，进而可以计算两个实体之间的相似度。

已有的深度学习推荐系统思路是集成用户或物品的辅助信息到传统的推荐算法中，忽略了用户行为的顺序。实际上用户的行为与历史行为的顺序息息相关。序列化推荐是指在给定一个用户的过往历史交互后，预测他可能会交互的后继物品。使用马尔可夫链的推荐系统或基于循环神经网络模型的推荐系统常用于建模用户行为序列。马尔科夫链方法只能求出近似解，不适用于海量数据集。基于循环神经网络的方法只是从左到右的单向模型，同时用户历史行为并不是严格有序的，所以它不能准确地表征用户行为序列。

发明内容

本发明提供了一种基于BERT的深度学习序列推荐系统。本发明能够包含两个方向的上下文，双向模型能够更好地表征用户行为序列，达到更好的推荐效果。

基于BERT的深度学习混合推荐系统，包括以下步骤：

1.嵌入层

本发明将嵌入层作为深度神经网络的一部分，在更新参数的时候也更新嵌入层。

先将用户ID、物品ID、用户可分类辅助信息进行嵌入表征并连接表征结果，令x为输入的独热编码向量，V_x为嵌入表示后的矩阵值，计算公式如下

V_x＝x.matmul(E_feature)

其中E_feature为对应的维度，作为参数进行随机初始化并随着模型的更新而更新,matmul函数代表矩阵乘法。

再将用户最近N个行为序列与物品特征一起进行嵌入表示，其中序列位置为当前时间戳与行为时间戳的差值计算得到，一个物品v_i的输入表示为：其中v_i是d维嵌入表示，p_i是d维序列位置嵌入表示。综合两步的嵌入表征结果作为转换层的输入。