[发明专利]一种注意力机制下基于特征表征的点击率预估模型

权利要求书

1.一种注意力机制下基于特征表征的点击率预估模型，用于根据待测对象的对象特征完成点击率预估，所述对象特征分为连续型特征和离散型特征，其特征在于，包括：

特征嵌入层，将所述连续型特征和所述离散型特征进行矢量化处理后堆叠嵌入处理形成堆叠特征；

显式特征交叉网络，通过将所述堆叠特征输入到注意力交叉网络进行显式特征组合，形成显式输出矢量；

隐式特征交叉网络，通过将所述堆叠特征输入到多层感知机进行隐式特征组合，形成隐式输出矢量；

预估概率输出层，将所述显式输出矢量和所述隐式输出矢量组合形成高阶非线性的组合特征，同时将该组合特征传递给Sigmoid激活函数进行点击率预测，得到所述点击率；

其中，所述注意力交叉网络包括：

交叉层，通过交叉算法对所述堆叠特征进行处理并生成多维矢量；以及

注意力层，通过全连接神经网络对所述多维矢量进行处理并生成注意力得分，并对所述注意力得分进行规范化处理生成特征系数，进一步基于所述特征系数通过输出计算式生成所述显式输出矢量。

2.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述矢量化处理为：

对所述离散型特征进行独热编码转换，将编码后的所述离散型特征作为嵌入向量；

对所述连续型特征进行依据数据分布特点的数据标准化，形成稠密特征；

将所述嵌入向量和稠密特征进行所述堆叠嵌入处理作为堆叠特征，

所述独热编码转化的矩阵计算公式为：

x_embed，i＝W_embed，ix_i#(1)

式中，x_embed，i是嵌入向量，x_i是第i类的二进制输入，而是将与网络中的其他参数一起进行优化的嵌入矩阵，而n_e和n_v分别是输入维度和嵌入矢量维度。

3.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述交叉算法的计算公式为：

式中，是列向量，分别表示来自第I层和第I+1层交叉层输出；是第I层的权重和偏差，函数f表示各层特征矢量交叉公式。

4.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述注意力层中的所述规范化处理的计算逻辑为：

a_i′＝h^TRelu(Wx_i+b)#(3)

式中，是模型参数，x_i是第i类的二进制输入，a_i是注意力权重，注意力分数通过Softmax进行标准化。

5.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述注意力交叉网络的所述输出计算式为：

式中，a_i是注意力权重，是模型参数，x_i是第i类的二进制输入。

6.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述多层感知机的各层计算逻辑如下：

H_l+1＝f(W_lH_l+B_I)#(7)

式中，H_l+1表示隐藏层，f(·)是Relu函数，是第l层的权重和偏差。

7.根据权利要求1所述的一种注意力机制下基于特征表征的点击率预估模型，其特征在于：

其中，所述Sigmoid激活函数的公式为：

式中，分别是显式特征交叉网络和多层感知机的输出，W_logits是Sigmoid函数的权重，通过Sigmoid函数得到最终的点击率预测值。