[发明专利]一种改进嵌入层的广告点击率预测模型训练方法

权利要求书

1.一种改进嵌入层的广告点击率预测模型训练方法，其特征在于，包括如下步骤：

S1：获取预处理后的数据集，其中，每个样本数据包含离散化特征和连续特征，对于特征处理部分只考虑分类特征的情况，通过对连续性特征进行离散化分类来进行数据预处理信息；

S2：通过改进的嵌入层有效的将高维稀疏的数据映射为低维特征数据，其中，改进的嵌入层是普通嵌入层与自注意力模块相结合，更好的学习特征内部联系并赋予权重过滤无用信息；

S3：一方面通过逻辑回归对低阶显性特征进行处理，丰富对低阶显性特征表达的缺失，另一方面将低维特征数据输入到特征提取网络，提取二阶特征组合信息；

S4：将低阶部分训练结果与高阶训练结果通过函数归一化得到最终预测值。

2.根据权利要求1所述的改进嵌入层的广告点击率预测模型训练方法，其特征在于，自注意力机制的计算是在特征提取前相对于自身之间的内部联系进行训练，突出有效信息并加快训练速度，将特征向量输出的通过与权重矩阵相乘得到对应的张量，即查询张量Q、键张量K和值张量V，通过公式计算得出对应的赋予权重之后的矩阵，公式如下：

3.根据权利要求2所述的改进嵌入层的广告点击率预测模型训练方法，其特征在于，通过分别对相应特征进行复制和内积操作，用o(p,i,j)表示第i个特征的复制操作，用表示第i个特征和第j个特征的内积操作；

输出嵌入特征e_f和交互特征i_f，假设有个m特征可以构造如下：

γ是从操作到索引的映射，i_f可以按如下方式构建：

i_f＝[p_1，2，p_1，3，...，p_m-1，m]

其中p_i，j是第i个特征和第j个特征之间的内积运算的值：

连接嵌入特征e_f和交互特征i_f构成了该层的输出：

f＝[e_f，i_f]

多层感知机用于提取高阶特征和预测，首先对f进行批量归一化，其结果表示为：

f_dnn＝BN(f)

其中贝叶斯是指批处理规范化，用来加速训练提高预测精确度，对于MLP的每一层添加批处理规范化，并使用校正后的线性单位relu，最后使用sigmoid函数完成概率预测的任务。