[发明专利]结合内/外积特征交互和贝叶斯神经网络的营销预测方法

说明书

一种结合内/外积特征交互和贝叶斯神经网络的营销预测方法，包括数据预处理步骤、数据集划分步骤、模型建立步骤和对营销活动点击的预测步骤；其在预测模型的建立过程中，通过有效利用贝叶斯推断，在贝叶斯神经神经网络中引入预测的不确定性，使贝叶斯神经网络模型具有更强的鲁棒性。并且采用内/外积结合的方法，对特征进行了交叉来提取高维隐性特征。因此，本发明可以有效扩展深度学习对于计算广告和推荐系统算法问题的应用，并显著提升对用户点击行为预测的准确性。

技术领域

本发明涉及人工智能在互联网营销的技术领域，更具体地，涉及一种结合内/外积特征交互和贝叶斯神经网络的营销预测方法。

背景技术

网络广告营销是借助网络营销能最大化的传播给受众人群，其借助网络平台投入广告给目标性客户。在计算广告和推荐系统算法中，常用的算法包括了线性模型如逻辑回归(logistic regression，LR)、因式分解机(factorization machine，FM)等。

上述这些算法具有可解释性好和算法实施简单的特点，然而，由于算法自身较为简单，表达能力有限。因此，这些算法往往对于特征之间的高阶交互信息的抽提较为困难，从而影响算法的整体性能。

此外，随着深度学习算法在诸多领域，如自然语言处理(Natural LanguageProcessing，NLP)，计算机视觉(Computer Vision，CV)等的成功应用，深度学习模型也正逐步应用于主流广告和推荐系统领域。

尽管深度学习模型具有自动提取特征，以及端到端学习等诸多传统算法不具备的优点，然而，其在针对计算广告和推荐系统的应用中，也存在明显如下几种弊端：

①、在绝大多数推荐系统数据集中，会形成大维度的稀疏矩阵，即由0和1构成的矩阵，对基于梯度下降的深度学习模型来说，存在一定的困难；同时，大型稀疏矩阵也会造成较大的算力消耗和过大的计算时间。因此，如何在降低特征维度，同时有效提取特征的交互信息，对特征工程及算法的设计提出更高要求。

②、防止过拟合现象是深度学习算法中一个非常重要的问题。一般来说，可以采用早停机制、权值衰减、L1-L2正则化、Dropout等方法降低模型的过拟合风险。但是，对于广告营销中的精准定位和投放问题，往往还需要考虑模型中对于不确定性的度量，一个过度自信的算法决策往往无法在实际广告投放中收获很好的效益。因此，如何在网络架构中加入不确定性度量，使得算法决策的可信度更高，并有效防止过拟合，是深度学习应用于计算广告和推荐系统问题应着力突破的关键技术之一。

③、传统的深度学习模型是直接通过多层全连接层完成特征的交叉和组合的，但这样的方式缺乏一定的“针对性”。

首先，全连接层并没有针对不同特征域之间进行交叉；

其次，全连接层的操作也并不是直接针对特征交叉设计的。

因此，我们需要针对具体业务，发展具有表征不同数据模式能力的深度学习模型。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其包括数据预处理步骤S1、数据集划分步骤S2和模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户当日访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长为每一个任务批次号为计量单位，所述用户当日访问DPI和用户的手机号码归属地特征为类别特征；