[发明专利]一种短视频记忆度预测方法及装置

权利要求书

1.一种短视频记忆度预测方法，其特征在于：包括如下步骤：

A、将数据集中的视频利用残差网络提取每帧的视觉特征向量组成多维视觉特征矩阵v，对矩阵v空间池化后得到矩阵x，将矩阵v和矩阵x均分为训练集和测试集；

B、将矩阵x对应的训练集作为双向长短期记忆网络的输入，得到各帧为关键帧的可能性数据，并根据该可能性数据计算各帧的关键性得分，并施加第一损失函数约束；

C、选择关键性得分最高的前s个关键帧形成预测摘要视频，通过卷积操作重构对应的特征向量，得到摘要视频G_s(x)，并计算生成摘要视频过程中的重构性损失函数

D、利用矩阵v构建空间注意图S，再利用矩阵v与空间注意图S得到重构特征矩阵F，将重构特征矩阵F输入双向长短期记忆网络，得到各帧的记忆度分数；

E、将各帧的记忆度分数与各帧的关键性得分分别相乘并求和，得到预测的记忆度分数，并得到预测损失函数

F、构建最终损失函数其中，λ是平衡系数；

G、使用ADAM优化器以固定的学习速率完全端到端地进行训练，迭代更新对应参数，直至最终损失函数收敛。

2.根据权利要求1所述的一种短视频记忆度预测方法，其特征在于：所述步骤A包括：

A1、将数据集的各视频分别进行采样，各视频采样后均得到T帧图像，将T帧图像输入经过训练的Resnet50，从Resnet50的conv4_3层得到每个视频对应的T帧多维视觉特征矩阵v：v＝{v₁,v₂,…，v_t,…，v_T}；

A2、对矩阵v空间池化后得到矩阵x：x＝{x₁,x₂,…，x_t,…，x_T}；

A3、将矩阵v和矩阵x均分为训练集和测试集。

3.根据权利要求2所述的一种短视频记忆度预测方法，其特征在于：所述步骤B包括：

B1、训练集的矩阵x作为可以捕获时序信息的双向长短期记忆网络的输入：

其中，t＝(0,T]，x_t表示第t帧的视觉特征，和表示双向长短期记忆网络输出的前向后向信息，函数f_{v_sum}()将双向长短期记忆网络的隐藏状态以及初始特征x_t映射到每帧的关键性评分，W_x、W_f、W_b和b分别为权重和偏置，tanh为激活函数；表示第t帧是关键帧的可能性；

B2、通过下式计算各帧的关键性得分α_t：

B3、为了鼓励不同帧的关键性得分能够产生差距，施加第一损失函数约束：

4.根据权利要求3所述的一种短视频记忆度预测方法，其特征在于：所述步骤C中的重构性损失函数为：其中，G_s(x)^t和分别是摘要视频G_s(x)中的第t帧和矩阵x的第f_t帧的特征，f_t∈Λ_s，Λ_s为索引，用于指示摘要视频选择的s个关键帧，||·||₂为L2范数。