[发明专利]一种基于多尺度堆叠网络的广告点击分类方法

说明书

本发明公开了一种基于多尺度堆叠网络的广告点击分类方法，该方法通过一种基于不同感受野构造多尺度特征的MSSP结构来自动构造组合特征，通过构造多个不同角度、不同视野的观测器从深度和宽度两个角度双向堆叠多尺度特征，挖掘了不同局部视野中的高阶和低阶特征，保证了提取特征的多样性；另外，该结构通过因子化来学习参数，保证了高阶特征在稀疏数据中能被有效学习。本发明弥补了LR、Wide&Deep过于依赖手工构造组合特征的缺点；同时相对于传统的Poly2和FM模型，能够从多个角度挖掘不同尺度的特征来保证模型学习到的信息的多样性；相对于FFM等模型时间复杂度过高的特点，本发明时间复杂度能保持在线性级别，能够满足在线广告对时间响应方面的高要求。

技术领域

本发明具体涉及一种基于多尺度堆叠网络的广告点击分类方法。

背景技术

展示广告点击分类任务是指在给定的用户、商品和场景下，预测用户对某些投放的广告是否会进行点击，准确的广告点击分类能够减少广告的无效投放，直接关系到广告平台的收益和用户体验。

LR(Logistic Regression) 作为最经典的分类器，有着形式简单、模型的可解释性良好、训练速度较快等优点，但是没有自动构造特征的能力，过于依赖人工构造的特征。Poly2 模型考虑了二阶组合特征，但是，如果某个特征组合在训练集中没有出现，那么对应项的权重将不能得到充分学习，从而降低了预测的准确性。

谷歌公司公开的Wide&Deep联合训练 Wide 部分和 Deep 部分，因为 Wide 部分相当于单层的神经网络，更加注重特征的记忆性，而 Deep部分相当于多层的深度神经网络，能更加注重特征的泛化性与推理性，但是也比较依赖于人工特征。

POLY2进行无选择的特征交叉使原本就非常稀疏的特征向量更加稀疏，使得大部分交叉特征的权重缺乏有效的数据进行训练，无法收敛，并且权重参数的数量由O(n)直接上升到O(n^2)，极大增加了训练复杂度。

FM(Factorization Machines)通过隐向量来表示特征，从而使二阶的组合特征的权重分解为两个隐含向量的点积，即使训练集中没有出现某个特征组合，也由于两个特征的隐含向量是分别学习的而不会影响预测的准确性；由于对更高阶特征无法化简计算，时间复杂度会非常的高，FM一般情况下只考虑到了一阶和二阶特征，因此这也是FM的局限性，即只考虑到了低阶的特征。

FFM( Field-aware Factorization Machines)在 FM 模型的基础上引入了特征域(Field )的概念，提出了面向特征域的因子分解机，每个特征将针对不同的特征域学习不同的隐含向量，模型学习更加的精细，但是带来的问题是模型过于复杂，时间复杂度太高。

发明内容

本发明提供了一种基于多尺度堆叠网络的广告点击分类方法，该方法通过一种基于不同感受视野构造多尺度特征的Multi-Scale-Stacking Pooling(MSSP)结构来自动构造组合特征，其目标是通过构造多个不同角度、不同视野的观测器从深度和宽度两个角度双向堆叠多尺度特征，挖掘了不同局部视野中的高阶和低阶特征，保证了提取特征的多样性；另外，该结构通过因子化来学习参数，保证了高阶特征在稀疏数据中能被有效学习。

本发明弥补了LR、Wide&Deep过于依赖手工构造组合特征的缺点；同时相对于传统只专注于低阶特征，构建的特征比较单一的Poly2、FM模型，本发明能够从多个角度挖掘不同尺度的特征来保证模型学习到的信息的多样性；另外，相对于FFM等模型的过于复杂，时间复杂度过高的特点，本发明时间复杂度能保持在线性级别，满足了在线广告对时间响应方面的比较高的要求。

本发明技术方案的主要内容包括构建多尺度堆叠特征和搭建广告点击分类网络，所述构建多尺度堆叠特征主要包括如下步骤：