[发明专利]一种注意力机制下基于特征表征的点击率预估模型

说明书

为了根据待测对象的对象特征完成点击率预估，可作为数据精排环节应用于企业级推荐系统、搜索系统和在线广告系统等领域。本发明提供一种注意力机制下基于特征表征的点击率预估模型，该模型包括：特征嵌入层，用于将连续型特征和离散型特征进行矢量化处理进而形成堆叠特征、显式特征交叉网络，通过注意力交叉网络将堆叠特征进行显式特征组合、隐式特征交叉网络，通过多层感知机将堆叠特征进行隐式特征组合以及预估概率输出层，根据接收到的组合特征对点击率进行预估。其中，注意力交叉网络消除了预估模型对人工特征工程的依赖，同时注意力机制的引入，区分了各组合特征对模型预估的重要性，消除了无用、冗余特征对模型的影响。

技术领域

本发明属于数据挖掘技术领域，具体为一种端到端点击预测技术，利用深度学习模型自动完成特征表征进而预测点击率的模型。

背景技术

点击率预估作为直接影响用户平台体验和广告营收的关键技术，一直是业界最核心的研究课题之一。目前国内外的研究工作主要在特征表征层面，现有方法主要分为机器学习点击率模型和深度学习点击率模型两类。

早期阶段，工业界受限于计算力、在线学习和模型部署，主要是通过搭建轻量级机器学习模型，最经典模型当属逻辑回归模型(Logistic Regression)。LR以其数学含义好、可解释性强和便于工程化部署等优点迅速成为业界CTR预估主流模型。2010年BrendanMcMahan等提出针对LR的在线学习算法FTRL(Follow The Regularized Leader)，进一步促进了LR在工业界的应用，但LR模型本质是线性模型，模型学习能力有限，其预测效果通常取决于数据科学家的特征工程能力。因此，业界开始探索使用二项式模型(PolynomialRegression)构造二阶组合特征，利用特征两两交叉进行显式特征组合，其暴力交叉方式一定程度上解决了特征组合问题，但其只能学习到训练数据集中出现的共现性特征，难以在推荐、广告等大规模稀疏数据场景下泛化出未共现的组合特征。为了解决二项式模型的缺陷，2010年德国康斯坦茨大学的Steffen Rendle等提出了FM(Factorization Machine)，开始为每个特征学习一个隐权重向量(latent vector)，使用隐向量內积作为特征交叉权重，较好地解决了稀疏特征场景下的特征组合问题，此外通过变换目标函数形式的方法，使FM训练复杂度进一步降低，因此FM在2012到2014年前后逐渐成为业界CTR模型的重要选择。2015年，基于FM提出的FFM(Field-aware Factorization Machine)在多项CTR预估比赛中一举夺魁，并随后被Criteo、美团等公司开始应用在推荐、广告场景。相比FM模型，FFM模型主要引入了“域”的概念，在做特征交叉时，每个特征选择与组合特征域对应的隐向量做内积运算得到交叉特征的权重，使模型的表达能力更强，但受限于FFM空间复杂度较高及只能进行二阶特征交叉等限制，其在工业界并未得到广泛使用。此外，2014年Xinran He等提出了基于GBDT(Gradient Boost Decision Tree)+LR组合模型的解决方案，用于处理高维特征组合和筛选问题，其利用GBDT自动进行特征筛选和组合，利用独特编码对叶子节点进行编码，再把该编码特征作为LR模型输入完成CTR预估，开启了利用模型进行高阶特征构造、筛选的先河，较为高效的解决了过去非常棘手的特征组合和筛选问题，极大地推进了特征工程模型化这一重要趋势。

在此期间，研究人员发现高阶组合特征更容易挖掘出个性化需求，实现“千人千面”推送效果，受限于稀疏特征急剧增多，高阶组合特征业务逻辑难以理解等原因，传统的人工特征工程在挖掘高阶组合特征方面难以为继，人们开始尝试延续模型提取特征的优势，完成大数据场景下用户的个性化推送。伴随着深度学习在计算机视觉、自然语言处理领域大放异彩，人们开始尝试利用神经网络自动进行特征表征，进而取代手工特征工程完成点击率预估。