[发明专利]一种改进嵌入层的广告点击率预测模型训练方法

说明书

本发明提供了一种改进嵌入层的广告点击率预测模型训练方法，包括获取预处理后的数据集；通过改进的嵌入层有效的将高维稀疏的数据映射为低维特征数据；通过逻辑回归对低阶显性特征进行处理，丰富对低阶显性特征表达的缺失，将低维特征数据输入到特征提取网络，提取二阶特征组合信息；将低阶部分训练结果与高阶训练结果通过函数归一化得到最终预测值。本发明的改进嵌入层的广告点击率预测模型训练方法解决了广告点击率预测模型对特征关注不足且训练速度慢的问题，在算法的准确率及效率方面提升推荐效果。

技术领域

本发明涉及计算机工程的技术领域，尤其涉及一种改进嵌入层的广告点击率预测模型训练方法。

背景技术

随着互联网+的迅速发展，诸如互联网广告等悄然兴起，为了更精准地预测广告的投放，点击率(Click Through Rate，简称CTR)作为预测广告投放的重要标准之一，它在广告系统等领域发挥着至关重要的作用。

传统的CTR预估模型，都是针对特征的一阶显性信息和二阶特征交互信息进行研究，高阶特征交互都是通过人类专家手动标记工作量大且耗时；随着深度学习的快速发展，多层神经网络通过embedding+MLP的形式应用在深度学习CTR模型中，深入的挖掘更高阶的特征交互信息，但是对低阶特征交互关注不足。为兼顾两者对特征交互的优点，提出了DNN和低阶特征组合的经典点击率预估模型；此外，注意力机制能够通过对特征加权，有效的过滤无用信息加快收敛速度，在现有经典模型中取得了很好的效果，证明注意力机制与深度学习CTR模型相结合很有前景。

现有技术中的广告点击率预测方法不能很好的利用稀疏样本数据，因而相关技术中的广告点击率预测方法通常存在预测结果不准确的技术问题。

发明内容

针对上述技术问题，本发明的目的在于提供一种改进嵌入层的广告点击率预测模型训练方法，解决了广告点击率预测模型对特征关注不足且训练速度慢的问题，在算法的准确率及效率方面提升推荐效果。

为实现上述目的，本发明提供了一种改进嵌入层的广告点击率预测模型训练方法，包括如下步骤：

S1：获取预处理后的数据集，其中，每个样本数据包含离散化特征和连续特征，对于特征处理部分只考虑分类特征的情况，通过对连续性特征进行离散化分类来进行数据预处理信息；

S2：通过改进的嵌入层有效的将高维稀疏的数据映射为低维特征数据，其中，改进的嵌入层是普通嵌入层与自注意力模块相结合，更好的学习特征内部联系并赋予权重过滤无用信息；

S3：一方面通过逻辑回归对低阶显性特征进行处理，丰富对低阶显性特征表达的缺失，另一方面将低维特征数据输入到特征提取网络，提取二阶特征组合信息；

S4：将低阶部分训练结果与高阶训练结果通过函数归一化得到最终预测值。

可选的，自注意力机制的计算是在特征提取前相对于自身之间的内部联系进行训练，突出有效信息并加快训练速度，将特征向量输出的通过与权重矩阵相乘得到对应的张量，即查询张量(Q)、键张量(K)和值张量(V)，通过公式计算得出对应的赋予权重之后的矩阵，公式如下：

优选的，通过分别对相应特征进行复制和内积操作，用o(p，i，j)表示第i个特征的复制操作，用表示第i个特征和第j个特征的内积操作；

输出嵌入特征e_f和交互特征i_f，假设有个m特征可以构造如下：

γ是从操作到索引的映射，i_f可以按如下方式构建：

i_f＝[p_1，2，p_1，3，…，p_m-1，m]