[发明专利]一种基于深度残差网络的点击率预测方法

说明书

本发明提出了一种基于深度残差网络的点击率预测方法，该方法包括如下步骤：获取历史推荐广告点击数据作为模型的训练集和测试集；对数据进行预处理并剔除异常值；将训练数据输入到独热码输入层进行独热码向量映射，在独热码输入层后级联嵌入编码层将独热码向量映射到低维向量；将输出向量作为因子分解机部分和深度残差神经网络的共享输入，分别负责低阶特征和高阶特征的提取；在Fusion层将FM和深度残差神经网络的预测结果进行融合并做概率归一化映射。本发明将深度残差网络引入DNN模型，解决DNN随着网络变深产生的梯度消失和模型性能退化问题，从而更有效地提取高阶组合特征。

技术领域

本发明涉及信息推荐系统领域，尤其涉及一种基于深度残差网络的点击率预测方法。

背景技术

随着互联网的飞速发展，网络信息浩如烟海,对于用户而言，如何在以指数级增长的资源中快速、准确地定位到自己需要的内容是一件极具挑战性的事情。同时对于商家而言，如何在正确的时间点将恰当的信息呈现给用户对商家的经济发展起到了关键导向。

针对信息过载问题，推荐系统应运而生，通过利用用户画像、物品信息以及用户的搜索、点击、收藏等行为数据，对不同用户进行个性化推荐。用户点击率预测研究是推荐系统中十分重要的组成模块，也是程序化广告交易框架中智慧核心组件，学习和预测用户的行为模式对个性化推荐系统、智能信息检索等领域都有着极其重要的意义。

为了提升用户点击率预测准确率，过去数十年内不同的学者对这一领域提出了各种各样的特征提取模型和用户行为学习模型。构建好的特征对于机器学习任务来说至关重要。He等人将决策树与Logistic回归相结合，提出梯度提升决策树模型，其研究表明，能够捕获关于用户和广告历史信息的特征对于系统性能具有决定性影响[参考“He Xinran,PanJunfeng,Jin Ou,et al.Practical lessons from predicting clicks on ads atFacebook[C]//Proceedings of the Eighth International Workshop on Data Miningfor Online Advertising.ACM,2014:1-9”]。Qiu等人提出了一种采用多粒度级联森林结合GBDT的集成学习方法，以提高CTR准确率并降低超参数调整工作量[参考“Qiu Xiaokang,Yuan Zuo,Liu Guannan.ETCF:An Ensemble Model for CTR Prediction[C]//2018 15thInternational Conference on Service Systems and Service Management(ICSSSM).IEEE,2018:1-5”]。交叉组合原始特征构成新的特征是有效的特征构建方法，匡俊等人的研究表明基于因子分解机[参考Rendle S.Factorization machines[C]//2010IEEEInternational Conference on Data Mining.IEEE,2010:995-1000]模型和基于GBDT+LR模型的预测精度要优于基于LR的模型，并且将用户特征和视频特征进行交叉组合能够改进点击率预测的精度[参考“匡俊,唐卫红,陈雷慧,等.基于特征工程的视频点击率预测算法[J].华东师范大学学报:自然科学版,2018,(3):77-87.(Kuang Jun,Tang Weihong,ChenLeihui,et al.Algorithm for video click-through rate prediction[J].Journal ofEast China Normal University:Natural Science,2018,(3):77-87”]。FM作为一种矩阵分解模型，能够有效降低高维数据稀疏性，并且对噪声和冗余不敏感，拥有良好的可扩展性。Juan等人引入场的概念，提出了场感知因子分解机FFM模型，使得每两组特征交叉的隐向量都是独立的，取得了更好的组合效果[参考“Juan Yuchin,Zhuang Yong,ChinWeisheng,et al.Field-aware factorization machines for CTR prediction[C]//Proceedings of the 10th ACM Conference on Recommender Systems.ACM,2016:43-50”、“Juan Yuchin,Lefortier Damien,Chapelle Olivier.Field-aware factorizationmachines in a real-world online advertising system[C]//Proceedings of the26th International Conference on World Wide Web Companion.International WorldWide Web Conferences Steering Committee,2017:680-688”]这些方法都取得了不错的效果，然而，FM类模型只能有效提取一阶和二阶特征，难以挖掘高阶特征信息。限制了模型性能的进一步提升。