[发明专利]一种视频特征提取方法、装置、可读存储介质及终端设备

说明书

本发明属于计算机技术领域，尤其涉及一种视频特征提取方法、装置、计算机可读存储介质及终端设备。所述方法接收待处理的视频帧序列，并对所述视频帧序列进行空间卷积计算，得到所述视频帧序列的空间卷积输出，所述视频帧序列中包括若干帧连续的视频图像；对所述空间卷积输出进行时间卷积计算，得到所述视频帧序列的第一时间卷积输出；对所述空间卷积输出进行空间池化计算，得到所述视频帧序列的空间池化输出；对所述空间池化输出进行时间卷积计算，得到所述视频帧序列的第二时间卷积输出；根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正，得到所述视频帧序列的特征提取结果，大大提高了整体的鲁棒性。

技术领域

本发明属于计算机技术领域，尤其涉及一种视频特征提取方法、装置、计算机可读存储介质及终端设备。

背景技术

现有技术中在进行视频特征提取时，广泛采用的是3D卷积，但现有的网络结构，如时空分解(FST，Factorized Spatio-Temporal)网络中的3D卷积都作用在特征图的局部区域，从局部区域学习时序信息有局限性，也容易被随机因素干扰。以图1中所示的一段视频为例，一个运动员在裁判员的监督下进行跳高运动，如果将各帧图像中的方框区域作为观察窗，首先可以看到头部，然后是腿部，最后又是头部，其中，身体部位的第一次变化是从第t-1帧中的头部变为第t帧中的腿部，表明人体是向上运动的(如图中向上的箭头所示)，这是有利于得出跳高这一预测结果的，但是，身体部位的第二次变化是从第t帧中的腿部变为第t+1帧中的头部，表明人体是向下运动的(如图中向下的箭头所示)，这是不利于得出跳高这一预测结果的，之所以会有这样的偏差，是由于相机是从右向左移动的，在相机移动的过程中，出现在第t+1帧观察窗中的头部并不是运动员的头部，而是裁判员的头部。由此可见，传统的从空间局部去学习时序信息，容易受到比如相机的移动等等各种未知因素的干扰，鲁棒性较差。

发明内容

有鉴于此，本发明实施例提供了一种视频特征提取方法、装置、计算机可读存储介质及终端设备，以解决现有的从空间局部去学习时序信息，容易受到比如相机的移动等等各种未知因素的干扰，鲁棒性较差的问题。

本发明实施例的第一方面提供了一种视频特征提取方法，可以包括：

接收待处理的视频帧序列，并对所述视频帧序列进行空间卷积计算，得到所述视频帧序列的空间卷积输出，所述视频帧序列中包括若干帧连续的视频图像；

对所述空间卷积输出进行时间卷积计算，得到所述视频帧序列的第一时间卷积输出；

对所述空间卷积输出进行空间池化计算，得到所述视频帧序列的空间池化输出；

对所述空间池化输出进行时间卷积计算，得到所述视频帧序列的第二时间卷积输出；

根据所述第二时间卷积输出对所述第一时间卷积输出进行矫正，得到所述视频帧序列的特征提取结果。

进一步地，所述对所述空间卷积输出进行时间卷积计算，得到所述视频帧序列的第一时间卷积输出包括：

根据下式对所述空间卷积输出进行时间卷积计算：

或者，根据下式对所述空间卷积输出进行时间卷积计算：