[发明专利]一种基于深度特征融合的点击率预估方法

说明书

一种基于深度特征融合的点击率预估方法，包括如下步骤：拿到历史数据，将数据经过热编码后变成由0和1组成的高维稀疏特征，得到基础特征；对基础特征经过嵌入层进行特征向量构建，构建后的向量作为模型训练输入；经过浅层模型FmFM和深层模型DenseDNN，同时学习显式和隐式特征交互；将FmFM模型和DenseDNN网络的结果拼接后，经过Sigmoid函数得到输出结果，用AUC和LogLoss两个指标来判断模型预测的准确率。本发明用特征融合的方式提升模型性能，使得点击率预估的结果更准确，提高广告媒介的利益。

技术领域

本发明涉及深度学习领域，是一种基于深度特征融合的点击率预估方法。

背景技术

电商平台、搜索引擎平台等互联网平台根据广告的点击率和点击价值来确定在线广告的价格，假如这些互联网平台可以准确地预估用户对于某一广告的喜好程度，再将广告精准地投放给喜好程度较高的那一部分用户，使得用户点击广告的概率大大增加，那么互联网平台得到的广告收益也会随之变高，而表现用户对某广告喜好程度的指标为点击率(Click Through Rate，CTR)，代表广告点击数量与广告展现数量的比率。

传统的CTR预估模型如因子分解机(Factorization Machine,FM)模型，它通过两个特征对应的嵌入向量之间的点积来模拟两个特征之间的相互作用，降低了开销，但忽略了不同域特征进行交互时的差异；FFM(Field-aware Factorization Machines)模型，在FM模型的基础上引入了特征域感知的概念，使模型的表达能力变强，但其参数量过大，在实际生产系统中不可取；FwFM(Field-weighted Factorization Machines)模型，对不同的域相互作用进行了有效的建模，仅用FFM4％左右的参数，但只用一个标量来表达域交互的强度，自由度不够，表达能力有限；FmFM(Field-matrixed Factorization Machines)模型，在两个特征向量之间使用一个域矩阵来模拟它们的相互作用，自由度较高，表达能力较强。

近年来，深度神经网络(DNN)凭借其强大的特征表征学习能力，在计算机视觉、语音识别和自然语言处理等领域取得了成功。目前有许多基于深度学习的点击率预估模型，这些模型一般使用浅层模型和深层模型相结合的方法学习特征交互，可以有效捕获高阶特征交互，显著提高模型性能。如谷歌2016年提出的WideDeep模型，它混合了一个线性模型和Deep模型，但线性部分的输入依赖人工特征工程；华为2017年提出 DeepFM模型，在WideDeep模型的基础上将Wide部分换成FM模型，不需要人工特征工程且训练效率高，但其准确度仍然不够；谷歌2017年提出DCN模型，使用cross network，无需人工特征工程，网络结构简单高效，但特征交互在元素级；微软2018年提出xDeepFM模型，其CIN部分能自动学习显式的高阶特征交互，且交互在向量级，但复杂度较高，应用困难；谷歌2020年提出DCN-v2模型，其核心是交叉层，继承了DCN 中简单的跨网络结构，但在学习显式和有界度交叉特征方面表现得非常好；普渡大学和雅虎研究等2021年提出DeepLight模型，使用高质量、低消耗、低延迟的模型，在不损失预测精度的情况下，将模型的推断速度提高了数十倍。

现有的点击率预估模型通常是浅层模型和深层模型并行结合，且深层模型通常使用深度学习中的深度神经网络。基于深度学习的点击率预估模型能有效捕捉高阶特征交互，显著提高模型的性能。工业界已提出许多结合深度神经网络的点击率预估模型，其中大多并行模型通过改进学习显式特征交互的浅层模型部分来提升模型效果，如DeepFM模型将WideDeep的Wide部分换成FM模型、xDeepFM模型设计CIN网络、DeepLight 模型将DeepFM模型的FM部分换成FwFM模型等，而对于深度神经网络部分却缺乏研究，为提升深度神经网络的性能，理论上可以通过提升DNN网络的层数或增加神经元参数的方式，但在实际应用中会导致梯度消失、梯度爆炸和参数量过大等问题，DNN的性能会随着层数的增加达到饱和之后迅速下降。

发明内容