[发明专利]一种基于知识蒸馏的深度序列推荐算法模型压缩方法

说明书

本发明公开了一种基于知识蒸馏的深度序列推荐算法模型压缩方法，首先将收集的用户行为源数据进行数据预处理，将得到的用户交互行为序列作为数据集；然后，使用得到的数据集来训练老师模型，老师模型的架构是任意一种深度序列推荐算法模型，老师模型的架构更大，即中间层状态维度更大和中间层数量更多；接下来，使用训练好的老师模型指导学生模型的训练，在本发明中，学生模型的架构和老师模型的主体架构必须一致。本发明使用了“相邻模型块参数共享”和“自适应EMD”，共同作用于最后的模型。本发明贴合深度序列推荐算法模型的特点，结果表明，经过本发明训练出的深度推荐推荐算法模型在推荐准确度方面有着较大幅度的提升。

技术领域

本发明属于深度学习神经网络算法模型压缩领域，尤其涉及一种基于知识蒸馏的深度序列推荐算法模型压缩方法。

背景技术

随着互联网各层应用的高速发展，人类和各类机器设备产生的数据量已越来越多，已经达到了ZB的级别，如今这个时代是大数据的时代。大数据中蕴含着丰富的价值和广阔的潜力，如何分析并利用它不可避免地成为了工业界和学术界的重要课题。同时，过大的数据量也带来了信息过载，人们往往被动地面对着大量的信息，如何帮助人们从纷繁复杂的信息中获取需要的信息也是大数据时代需要解决的重要难题之一。推荐系统利用用户的历史行为信息进行训练，并使用训练好的模型来为用户提供个性化推荐服务，能在很大程度上解决信息过载问题。

序列推荐系统是推荐系统的一种，又被称作基于会话的推荐系统，它主要通过用户与网站交互产生的行为序列来训练模型，它在对用户行为序列的建模过程中能有效地捕捉到用户兴趣的动态变化。深度学习在计算机视觉和自然语言处理领域获得广泛成功后，它也逐渐在序列推荐系统领域大放异彩，涌现了诸如SASRec、NextItNet等基于深度学习的序列推荐系统，这些模型的模型大幅度超越了传统的序列推荐算法，然而，为了获取更高的准确度，它们的模型体积往往十分巨大，同时带来的一个缺陷是推理速度会变慢，这大大限制了它们在生产环境的部署。因此，如何在尽量不损失深度神经网络模型的准确度的前提下对模型进行压缩与加速，成为了深度学习落地需要解决的一个重要问题。

知识蒸馏是模型压缩的一个重要方法，它已经在计算机视觉和自然语言处理领域得到了是十分广泛的应用，然而，知识蒸馏在深度序列推荐系统领域的应用却十分稀少。传统的知识蒸馏仅仅依靠老师模型给出的软标签来蒸馏学生模型，这显然对老师模型中的暗知识的挖掘是不够的。本发明提出一种知识蒸馏框架，它可以应用在深度序列推荐算法模型中，它充分挖掘了老师模型的知识，能够极大的压缩模型并提高蒸馏的效果。

发明内容

针对深度序列推荐算法模型体积越来越大，因而提高了其在生产环境部署难度的现状，本发明针对常见的深度序列推荐算法模型的结构特点，提出了一种基于知识蒸馏的压缩方法，本算法能够压缩常见的深度序列推荐算法模型，压缩后的模型能够在保持较高的推理准确度的前提下，极大的降低模型的体积和模型的推理时间。

本发明的目的是通过以下技术方案来实现的：一种基于知识蒸馏的深度序列推荐算法模型压缩方法，包括以下步骤：

S1：获取用户交互行为的源数据，将源数据以用户为维度分类，并按照交互行为发生的时间排序，最终截取固定长度的用户行为序列作为数据集。

S2：用S1得到的数据集训练用于知识蒸馏的老师模型，老师模型的架构为深度序列推荐算法模型。

S3：搭建学生模型，学生模型和老师模型的架构一致，但比老师模型更小；使用“相邻模型块参数共享”来压缩学生模型的中间层，学生模型的中间层中每个模型块重复使用两次，使一个模型块在逻辑上充当两个相邻模型块，两个相邻模型块参数共享；