[发明专利]点击率的深度交叉预估模型、方法、设备及存储介质

说明书

本发明公开了一种点击率的深度交叉预估模型、方法、设备及存储介质，点击率的深度交叉预估模型由输入层(Input Layer)，FM层，DCA层和输出层(Output Layer)构成。输入层将具有稀疏高维特征的输入信息表示为低维稠密向量后，分别送入FM层和DCA层；FM层通过一阶特征和二阶特征交叉挖掘训练数据中从未出现或者很少出现的低阶交叉特征；DCA层利用缩放点积注意力机制设计交叉注意力层，区分出高阶交叉特征的重要度，并设计深度神经网络实现对高阶交叉特征建模；输出层负责输出预估结果。本发明的并行结构能同时有效的学习低阶和高阶交叉特征，能区分不同高阶交叉特征的重要程度并剔除冗余交叉特征，提高点击率的预估精度，对从海量信息中筛选出符合用户需求的信息具有重要意义。

技术领域

本发明属于信息推荐技术领域，涉及点击率的深度交叉预估模型、方法、设备及存储介质，用于海量信息中筛选出符合用户需求的信息。

背景技术

随着计算机技术的高速发展，互联网产生大量信息，但也出现了信息过载的问题。如何从海量信息中筛选出符合用户需求的信息是一个热点话题，个性化推荐变得非常重要。点击率预估是推荐系统的重要组成部分，目的是预测用户对给定的物品做出响应的概率，例如预测用户点击广告或购买商品的概率等。

早期解决点击率预估问题只是简单的使用线性模型对不同特征加权求和，每一个特征都是单独使用并没有考虑特征之间的相互影响，例如逻辑回归LR(详见“NUSINOVICIS,THAM Y C,YAN M Y C,et al.Logistic regression was as good as machinelearning for predicting major chronic diseases[J].Journal of clinicalepidemiology,2020,122:56-69.”)、SGD回归等，LR模型的优点是模型简单、解释性强，缺点是只能做简单的特征加权无法做特征交叉。TAOZ等使用FM模型进行点击率预估，FM考虑了二阶特征组合，模型的性能要优于线性模型。

随着深度学习的快速发展，将深度学习应用到点击率预估领域是一个研究趋势。学者开始利用深度神经网络(deep neural network，DNN)对更具表现力的高阶交叉特征进行建模。如，KIM等使用具有记忆能力的LR模型和具有泛华能力的DNN模型相结合的WideDeep模型实现对输入数据的分析。华为诺亚方舟实验室的GUO等将进行特征交叉的FM替换为WideDeep模型中的线性部分，提出DeepFM(deep factorization machines)模型。之后为加强模型特征交叉能力，能进行特征交叉并线性增加网络复杂度的DCN模型、保留Cross的优势并引入Field vector-wise思想的xDeepFM模型(详见“LIAN J,ZHOU X,ZHANG F,etal.xdeepfm:Combining explicit and implicit feature interaction forrecommender systems[C]//Proceedings of the 24th ACM SIGKDD internationalconference on on knowledge discoverydata mining.2018:1754-1763.”)等被相继提出。受NLP领域Transformer的启发，SONG等(详见“SONG W,SHI C,XIAO Z,et al.Autoint:Automatic feature interaction learning via self-attentive neural networks[C]//Proceedings of the 28th ACM International Conference on Information andKnowledge Management.2019:1161-1170”)设计带残差连接的多头自注意力机制Interacting Layer，显式的进行交叉特征的获取，实现了高阶特征交叉的自动学习。FENG等也直接在DSIN中应用这种多头自注意力机制进行点击率预估。

上述点击率预估方法虽取得了不错的效果，但存在以下问题：