[发明专利]一种基于序列胶囊网络的短视频点击率预测方法

权利要求书

1.一种基于序列胶囊网络的短视频点击率预测方法，其特征在于：

利用卷积神经网络从用户点击序列中抽取上下文向量表征；对于一个用户的点击短视频的行为序列可以表示为X＝[x₁,…,x_n]，其中是用户点击短视频封面图特征向量，短视频封面图特征向量维度为d，n是序列的长度；采用一维卷积神经网络从点击序列抽取上下文向量表征；一维卷积神经网络的窗口宽度(window spanning)参数为w，步长(stride)参数为s，填充(padding)参数为p；输入的用户点击短视频的行为序列为X＝[x₁,…,x_n]，输出的上下文序列特征为[e₁,…,e_l]，其中l是上下文序列的长度，且

利用序列胶囊网络从上下文向量表征中抽取用户多兴趣向量表征h_i；

u_i|j＝H_ie_j

h_i＝g(RNN_i(u_i|j))

其中，e_j是用户点击序列中抽取的上下文向量表征，是用户序列到兴趣空间i的转换矩阵，用户多兴趣的个数是M；g是胶囊网络中常用的squash激活函数；RNN_i(u_i|j)表示采用循环神经网络(RNN)对兴趣空间i下的[u_i|1,u_i|2,u_i|3,…,u_i|l]列表进行建模；采用的循环神经网络结构是长短时记忆网络(LSTM)；

基于用户多兴趣向量表征，利用注意力机制预测用户对目标短视频的点击率；给定用户多兴趣胶囊h_i，计算用户点击目标短视频x_new的概率为：

其中，h_i为用户的第i个兴趣表征，x_new为目标短视频的向量表征；参数和参数W₁,控制每个兴趣表征的权重，兴趣表征的维度为d，和短视频封面图特征向量维度一致，参数c是偏置参数；和是转移矩阵，是偏置向量，b₂是偏置标量；σ是sigmoid激活函数；

根据模型特性，设计损失函数；通过用户对目标短视频的点击率预测值计算预测值和真实值y之间的误差，进而使用误差来更新模型参数；采用交叉熵损失函数来指导模型参数的更新过程：

其中，y∈{0,1}是真实值，代表用户是否点击了目标短视频；σ是sigmoid激活函数；最后采用Adam优化器更新模型参数。

2.根据权利要求1所述的一种基于序列胶囊网络的短视频点击率预测方法，其特征在于：所述长短时记忆网络(LSTM)结构为：

i_j＝σ(W_iu_j+U_ih_j-1+b_i)

f_j＝σ(W_fu_j+U_fh_j-1+b_f)

o_j＝σ(W_ou_j+U_oh_j-1+b_o)

c_j＝i_jtanh(W_cu_j+U_ch_j-1+b_c)+f_jc_j-1

h_j＝o_jc_j

其中，不同兴趣空间i下的长短时记忆网络结构相同且参数不共享；长短期记忆网络的最后一层的隐藏状态h_j的输出就是用户在当前兴趣空间下的兴趣向量表征；u_j是当前层的节点输入，W_i、U_i、b_i和、W_f、U_f、b_f和W_o、U_o、b_o分别是控制输入门i_j、遗忘门f_j和输出门o_j的参数；σ为sigmoid激活函数；tanh为tanh激活函数；所有这些参数和输入：隐层状态h_t-1、当前输入x_t以及节点x_t的的空间信息g_t共同参与计算，来输出结果h_j。