[发明专利]结合内/外积特征交互和贝叶斯神经网络的营销预测方法

权利要求书

1.一种结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，包括数据预处理步骤S1、数据集划分步骤S2和模型建立步骤S3；

所述数据预处理步骤S1包括如下步骤：

步骤S11：获取用户的原始信息，并从所述用户的原始信息提取原始特征信息；其中，所述原始特征信息包括用户ID、用户手机号码归属地、任务批次号、用户当日访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长；其中，所述任务批次号表示一个日期时间段中用户的原始信息，所述用户访问DPI、用户访问DPI频次、用户访问时间和/或用户访问时长为每一个任务批次号为计量单位，所述用户当日访问DPI和用户的手机号码归属地特征为类别特征；

步骤S12：对类别特征进行处理；即对所述用户手机号码归属地特征和用户访问DPI进行One-hot编码处理；其中，所述One-hot编码处理包括：

依次按所述任务批次号将所有不同的用户访问DPI作为单独的特征展开，以及在所述任务批次号中将DPI访问频次也按照所有不同的用户访问DPI展开为DPI与用户访问DPI的频次的关系特征；

步骤S13：对连续特征进行处理；即将不同维度的访问时间和访问时长数据映射到一个统一区间，并调整数据分布近似为高斯分布；

步骤S14：采用主成分分析对髙维特征进行降维处理；

所述数据集划分步骤S2包括如下步骤：

步骤S21：预处理之后，将所述归属地特征和用户当日访问DPI是否点击的特征看作稀疏特征，将所述用户访问DPI频次定义为连续特征；

步骤S22：根据需要预测的时间点t+1之前时间序列为1,2,…t-1时间点的历史数据，形成训练集数据；对时间点t所对应的数据作为验证集；

所述模型建立步骤S3包括如下步骤：

步骤S31：提供贝叶斯神经网络初始模型，将所述训练集数据中的类别特征作为所述贝叶斯神经网络输入层的M1维特征信息，将所述M1维特征信息输入到所述贝叶斯神经网络的嵌入层进行信息抽提和降维，将所述M1维特征信息降到M2维特征信息；其中，M2小于M1，所述贝叶斯神经网络包括输入层、嵌入层、乘积层、因式分解层、全连接层和输出层；

步骤S32：将降维后的所述M2维特征加上M3维的连续特征形成M维特征，在乘积层中，对所述M维特征进行内积和外积的乘法运算，使所述M维特征的特征信息进行交互；

步骤S33：在所述因式分解层中，采用因式分解法将所述M维特征的权重矩阵做因式分解；

步骤S34：将所述M维特征的信息输入到在所述全连接层中进行训练，得到训练后的贝叶斯神经网络模型，所述贝叶斯神经网络模型为具有两个输出层神经元的用户预测模型；并采用所述本地验证集中数据对所述用户预测模型验证。

2.根据权利要求1所述的结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，还包括步骤S35，对所述用户预测模型进行模型评价指标处理和调优处理。

3.根据权利要求2所述的结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，所述模型评价指标包括采用对数损失函数、相对信息增益RIG和AUC值。

4.根据权利要求3所述的结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，所述模型评价指标为AUC值，若所述AUC值小于一预定的阈值，再对所述用户预测模型进行模型调优处理。

5.根据权利要求2所述的结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，所述模型调优处理包括如下一种或几种：

增加批归一化，解决数据的内部协变量偏移问题；

在网络中增加让部分神经元在训练过程中处于休眠状态的功能；

调整学习率，一般会通过指数式衰减等策略调整训练过程中的学习率；

设置多种子训练取平均，以更好的提高由于数据方差较大引起的泛化能力不足的问题；

增加L1或者L2正则化，对损失函数施加惩罚，以降低过拟合风险；

对超参数的优化方法。

6.根据权利要求5所述的结合内/外积特征交互和贝叶斯神经网络的营销预测方法，其特征在于，所述对超参数的优化方法采用贝叶斯优化策略。