[发明专利]一种基于长短期记忆的二维视频显著性检测方法

权利要求书

1.一种基于长短期记忆的二维视频显著性检测方法，其特征在于，包括以下步骤：

步骤1：提取二维视频帧中的短期时序特征，利用3D卷积神经网络3D-ConvNet来提取；

步骤2：提取二维视频帧中的长期时序特征，利用双向长短期记忆网络B-ConvLSTM来提取；

步骤3：将提取的短期和长期的时序特征进行融合，并反卷积得到和输入视频帧分辨率大小一致的显著图。

2.根据权利要求1所述的一种基于长短期记忆的二维视频显著性检测方法，其特征在于：步骤1所述的二维视频帧中的短期时序特征包括运动信息。

3.根据权利要求2所述的一种基于长短期记忆的二维视频显著性检测方法，其特征在于：3D卷积网络按照公式(1)来计算：

hⁿ＝σ(∑Wⁿ*h^n-1+bⁿ) (1)

其中Wⁿ表示第n-1隐藏层的3D卷积核参数；h^n-1代表第n-1隐藏层；bⁿ代表相应的偏置项；操作符‘*’代表卷积操作；σ代表激活函数。

4.根据权利要求2所述的一种基于长短期记忆的二维视频显著性检测方法，其特征在于：利用批量标准化BN算法来加速网路的训练，它的计算由公式(2)所示：

其中E(x^(k))和Var(x^(k))分别代表第k批数据的期望和方差；代表标准化之后的结果。

5.根据权利要求4所述的一种基于长短期记忆的二维视频显著性检测方法，其特征在于：批量标准化BN算法之后，对于改变原始数据的分布，采用公式(3)来调整：

其中γ^(k)和β^(k)是相应的调节参数；代表标准化BN算法之后的结果；y^(k)代表调整之后的结果。

6.根据权利要求1所述的一种基于长短期记忆的二维视频显著性检测方法，其特征在于：步骤2所述的二维视频帧中的长期时序特征包括运动信息。