[发明专利]一种基于深度学习和信息融合的点击率预估方法

权利要求书

1.一种基于深度学习和信息融合的点击率预估方法，其特征是，共分为三个模块：浅层提取模块的场域分解机FFM，深层提取模块的卷积神经网络CNN，以及特征融合模块的深度置信网络DBN，其中浅层和深层两模块采用的是并行结构，共享用户与商品离散特征转化的固定稠密向量；浅层模块采用FFM自动提取特征的二阶组合，深层模块采用CNN局部感知域提取高阶非线性特征组合，融合模块采用DBN融合浅层FFM和深层CNN的输出，实现浅层特征与深层特征的交互；

所述基于CNN的高阶非线性特征提取方式：

卷积神经网络包含5个卷积层、5个池化层和2个全连接层，其中卷积层通过局部感知域的方式提取高阶非线性特征完成深层次的特征组合，这种方式在保留主要特征的同时，减少了模型参数的数量；

所述基于DBN的特征融合方式：

将浅层FFM模块和深层CNN模块的输出作为特征融合模块的输入，DBN作为融合模型，其中DBN包含3层隐藏层和1层Sigmoid层，DBN融合模型旨在捕获浅层特征和深层特征之间的高度非线性关系，并通过Sigmoid函数将点击预估判别结果输出到区间(0,1)上。

2.根据权利要求1所述的基于深度学习和信息融合的点击率预估方法，其特征是，包括如下步骤：

(1)用户商品数据的Embedding：在用户商品的数据集中，数据类别型特征较多，所以在进行数据输入之前会对原始数据进行独热编码得到稀疏特征；为了简化神经网络参数的数据，减少模型的计算量，在数据与模型之间加入嵌入层，通过映射关系将稀疏矩阵转化为固定稠密向量作为模型的输入；其中嵌入层中向量i表示为：

其中e_i表示为特征向量，表示特征所在的第i维特征场域，x_field表示第i维特征场域的样本；那么嵌入层的输出就可以表示为：

其中n表示特征数量，k表示嵌入向量的维度；

(2)浅层和深层采用的是并行结构，并且两模块共享嵌入层的输出作为模型的输入；

(3)浅层采用的是传统因子分解机的衍生FFM，更加关注场域内特征的关联；浅层FFM主要实现浅层特征的自动组合，为了计算的可行性，FFM模块更多考虑的是二阶特征之间的交互；FFM层的输出可以表示为:

其中用y_ffm表示FFM层的输出，w_i表示一阶特征的权值，w₀表示方程偏执，表示二阶特征交互的权值；

(4)深层采用卷积神经网络CNN提取高阶非线性特征；初始化样本权值w＝[w₁,w₂,...，w_n]并归一化，其中n表示为样本个数；初始化卷积神经网络的卷积层数、每层卷积核个数、全连接层数、每层网络上的权值w和偏置b；

(5)输入是嵌入层输出的固定维度向量，输出是尺寸缩小后的映射，每一个映射都是上层的输入映射的卷积值结合；输入样本集合为X＝(x₁,x₂,x₃,…x_n),其中n表示样本的规模，x表示样本；CNN模块采用全部特征数据训练特征融合网络，最小化后续学习的权重和偏置，可以表达为：

其中n表示样本的规模，表示的是输入数据Y_i与重构数据之间的交叉熵损失函数；

(6)浅层FFM模块和深层CNN模块的输出作为特征融合模块的输入，选用深度置信网络DBN作为融合模型，模型中包含3层隐藏层和1层Sigmoid层；