[发明专利]一种基于层次注意力网络的动态新闻推荐的方法

权利要求书

1.一种基于层次注意力网络的动态新闻推荐的方法，其特征在于，所述方法采用的模块包括层次注意力网络、卷积层和全连接层；所述层次注意力网络包括句子水平的注意力网络和新闻水平的注意力网络， 所述方法的输入为用户i的新闻序列C_i＝[c₁，c₂，...，c_L]和候选新闻c^*，所述新闻c_j＝[s_j1，s_j2，...，s_jK]是一个句子序列，所述s_jk是新闻c_j的第k个句子，所述L是用来预测用户点击率的历史新闻数目，所述K是每条新闻用来预测用户点击率的最大句子数目，所述i是用户的序数，所述j是新闻的序数，所述k是句子的序数， 用户i的新闻序列C_i和候选新闻c^*经过所述句子水平的注意力网络，得到所述新闻序列中句子s_jk的注意力权重β_jk，然后计算句子内容向量加权和得到新闻c_j的内容向量v(c_j)，所述新闻c_j的嵌入表示e(c_j)与所述新闻c_j的内容向量v(c_j)连接得到所述新闻c_j的整体表示[v(c_j)||e(c_j)]，所述整体表示经过所述新闻水平的注意力网络，使用时间衰减因子，得到所述新闻c_j的注意力权重α_j，通过[v(c_j)||e(c_j)]和α_j得到所述新闻c_j的最终表示x_j；在卷积层中，按序堆叠历史新闻的最终表示得到矩阵，输入卷积层学习用户序列阅读模式，得到序列偏好向量p_i；在全连接层中，将所述序列偏好向量p_i、候选新闻整体表示[v(c^*)||e(c^*)]和用户嵌入表示u_i连接后输入，输出得到用户i点击候选新闻c^*的概率

2.如权利要求1所述的方法，其特征在于，所述句子水平的注意力网络采用两层的前馈神经网络来确定所述句子s_jk的非标准化的注意力权重b_jk：

b_jk＝W₂φ(W₁[v(s_jk)||v(c^*)]+b₁)

所述[·||·]表示连接操作，所述φ(x)＝max(0，x)是ReLU非线性激活函数，所述W₁∈R^d×2d、W₂∈R^1×d以及b₁∈R^d是所述前馈神经网络的参数，所述d为Word2vec得到的单词向量长度；最后计算新闻c_j关于当前候选新闻c^*的内容向量v(c_j)：

所述β_jk是所述句子s_jk的标准化的注意力权重，