[发明专利]一种基于GBDT和DL融合模型的营销活动预测方法

说明书

一种基于GBDT和DL融合模型的营销活动预测方法，包括数据预处理、基于间谍技术的半监督正和负样本划分、预测模型建立和营销活动预测等步骤；即首先将广告投放原始数据中的样本只区分为点击用户，即正样本和未标记用户；接着从正样本数据集中划分M％，放入未标记用户数据集；然后通过迭代的EM算法进行计算；本发明的训练器为LightGBM与DNN的融合模型，其将稠密数值特征输入LightGBM，通过树模型的分裂得到0/1的特征，与类别特征一同输入神经网络进行学习，得到最终的预测用户点击的二分类学习器。结果显示，该方法不仅有效利用梯度提升决策树在特征构造方面的优势，且兼具了深度学习在对于高维稀疏矩阵中高阶特征的学习能力，显著提升对用户点击行为预测的准确性。

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种基于GBDT和DL融合模型的营销预测方法。

背景技术

点击率(Click-Through Rate，简称CTR)预估问题是互联网计算广告中的关键环节；对用户预估的准确性直接影响公司营销广告的收入。由于点击率是典型的二分类(即点击或不点击)的问题，因此，CTR经典算法为逻辑回归(Logistic Regression，简称LR)。

LR是广义的线性模型，通过Logit变换将输入值映射到[0,1]区间。LR 算法适合并行计算，但由于线性模型自身算法的局限性，对于数据的学习能力有限。尤其是对于CTR中输入数据一般是包括用户画像、用户不同行为特征在内形成的髙维稀疏矩阵，LR对于特征的表达能力有限。一般需要大量特征工程预先分析出有效的特征和特征组合，从而去间接增强LR的非线性学习能力。LR模型中的特征组合很关键，一般只能依靠人工经验，但不一定会带来效果的显著提升。因此，如何自动进行特征的组合、挖掘有效特征，缩短LR算法中的特征实验周期，是亟需解决的问题。

梯度提升决策树(Gradient Boost Decision Tree，简称GBDT)算法是常用的非线性算法。GBDT基于集成学习中的boosting思想，在降低迭代前后的残差的梯度方向建立决策树。GBDT这种通过迭代建立决策树的思想使其具有可以发现多种有区分性的特征以及特征组合的优势。因此，通过GBDT 建立的决策树可以作为其他模型的输入特征；省去了人工寻找特征和特征组合的步骤。值得注意的是，GBDT算法难以处理稀疏的类别特征，容易造成过拟合。

另外一方面，深度学习模型由于对输入数据进行多次的非线性映射和组合，对于原始数据特征具有较强的非线性表达能力。然而，深度学习模型也存在自身的许多不足，例如梯度消失/爆炸，计算资源消耗过大等。

基于GBDT拓展的树模型算法，如XGBoost和LightGBM等，在对表格类型的数据上其表现往往要优于深度学习，并且在数据预处理、连续型特征处理和模型调参方面前者也更具优势。CTR问题中涉及到的在线真实数据的分布有可能随着时间的推移与训练数据的分布存在明显差异，面对这种情况，基于树模型的算法无法做到快速的适应，需要结合最近的数据频繁地进行重新训练，获得模型参数。而深度学习由于天然地具有可以利用小批量数据进行训练的特点，实现模型参数的在线更新，于是可以很好的弥补这方面问题。

另外，在实际针对用户点击率的分类问题中，实际得到的数据一般为已标记的正样本(即用户点击)和未标记的样本(即用户未点击)。在数据预处理中，一般天然地将未标记样本直接作为负样本，进而将数据输入学习器进行分类任务的训练。这样区分正和负样本的方式存在以下几个问题：

①、从用户点击率的角度来看，一般点击用户和未点击用户存在不均衡，有时候甚至是极度不均衡，即将未标记的样本全部视为负样本后，负样本的数量要远远大于正样本，这对于很多基于高斯先验分布的算法来说会使得训练效果较差。

②、从广告点击的角度来看，相比于正样本，负样本应定义为那些不愿意点击广告的用户。而实际未标记的样本中，却无法满足这一定义，例如用户可能直接略过该条广告推送。因此，直接将未标记的样本视为负样本显然是不合理的。

发明内容