[发明专利]一种基于深度学习和信息融合的点击率预估方法

说明书

本发明提供一种基于深度学习和信息融合的点击率预估方法，其特征是，共分为三个模块：浅层提取模块的场域分解机FFM，深层提取模块的卷积神经网络CNN，以及特征融合模块的深度置信网络DBN。其中浅层和深层两模块采用的是并行结构，共享用户与商品离散特征转化的固定稠密向量；浅层模块采用FFM自动提取特征的二阶组合，深层模块采用CNN局部感知域提取高阶非线性特征组合，融合模块采用DBN融合浅层FFM和深层CNN的输出，实现浅层特征与深层特征的交互。本发明结合浅层与深层的特征交互深度的挖掘了特征之间的内在联系，有效的解决了梯度爆炸和梯度消失的问题，提高了点击预估的能力。

技术领域

本发明涉及一种点击率预估方法，尤其涉及一种基于深度学习和信息融合的点击率预估方法，属于推荐系统领域。

背景技术

随着深度学习和推荐系统的相结合，点击率预估的方法也发生着翻天覆地的变化。从最开始人工特征组合的逻辑回归和梯度提升树的组合到浅层特征自动组合的因子分解机FM，再有华为诺亚方舟提出深度学习作为深层的Deep FM，点击率预测的准确性得到显著的提升，但是现存的点击率预估方法仍然存在一些问题，深层的DNN网络会随着层数的增加出现梯度爆炸和梯度消失的问题，导致训练效果困难和优化困难。

为了解决当前点击率预估方法所存在的问题，需要研究出一种更加有效和准确的点击率预估方法。

发明内容

针对背景技术中存在的问题，本发明方法提出一种基于深度学习和信息融合的点击率预估方法CNN-FFM。

本发明的目的是这样实现的：

一种基于深度学习和信息融合的点击率预估方法，其特征是，共分为三个模块：浅层提取模块的场域分解机FFM，深层提取模块的卷积神经网络CNN，以及特征融合模块的深度置信网络DBN。其中浅层和深层两模块采用的是并行结构，共享用户与商品离散特征转化的固定稠密向量；浅层模块采用FFM自动提取特征的二阶组合，深层模块采用CNN局部感知域提取高阶非线性特征组合，融合模块采用DBN融合浅层FFM和深层CNN的输出，实现浅层特征与深层特征的交互。

本发明还包括这样一些特征：

其特征是，所述基于CNN的高阶非线性特征提取方式：

卷积神经网络包含5个卷积层、5个池化层和2个全连接层，其中卷积层通过局部感知域的方式提取高阶非线性特征完成深层次的特征组合，这种方式在保留主要特征的同时，减少了模型参数的数量。

所述基于DBN的特征融合方式：

将浅层FFM模块和深层CNN模块的输出作为特征融合模块的输入，DBN作为融合模型，其中DBN包含3层隐藏层和1层Sigmoid层，DBN融合模型旨在捕获浅层特征和深层特征之间的高度非线性关系，并通过Sigmoid函数将点击预估判别结果输出到区间(0,1)上。

与现有技术相比，本发明的有益效果是：

本发明结合浅层与深层的特征交互深度的挖掘了特征之间的内在联系，有效的解决了梯度爆炸和梯度消失的问题，提高了点击预估的能力。

附图说明

图1本发明方法的卷积神经网络过程示意图；

图2是本发明方法的深度置信网络过程示意图；

图3是本发明方法的点击率预估流程图；

图4是本发明一种基于深度学习和信息融合的示意图。

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述。

1.深层高阶非线性特征提取模型采用卷积神经网络CNN。将嵌入层转化出的固定稠密向量输入到CNN中，卷积层通过局部感知域的方式提取高阶非线性特征完成深层次的特征组合问题。