[发明专利]一种视频运镜的识别方法及系统

权利要求书

1.一种视频运镜的识别方法，其特征在于，所述方法包括：

获取训练数据集，所述训练数据集包括至少一个视频流和每个视频流对应的第一运镜类别；

对所述训练数据集的每个视频流进行运镜转换，以将每个视频流的第一运镜类别转换为第二运镜类别；

其中，所述第一运镜类别与所述第二运镜类别不同；

获取运镜转换前、后的所述训练数据集的每个视频流的第一图像输入序列；

将每个视频流的第一图像输入序列输入到第一神经网络、第二神经网络和第三神经网络中，得到预测运镜类别；

将同一视频流对应的所述预测运镜类别与所述第一运镜类别或第二运镜类别进行比对，以得到比对结果，根据所述比对结果采用预设算法更新所述第二神经网络和所述第三神经网络的参数；

获取待识别视频流的第二图像输入序列，并依次输入到所述第一神经网络，以及进行参数调整后的所述第二神经网络和所述第三神经网络中，获得识别运镜类别；

所述第一神经网络为Resnet神经网络，所述第二神经网络为循环神经网络，所述第三神经网络为全连接神经网络；

所述获取待识别视频流的第二图像输入序列，并依次输入到所述第一神经网络，以及进行参数调整后的所述第二神经网络和所述第三神经网络中，获得识别运镜类别，具体包括：

获取所述待识别视频流的所述第二图像输入序列；

将所述待识别视频流的所述第二图像输入序列输入到所述第一神经网络中，以得到对应的第二视觉特征向量序列；

将所述第二视觉特征向量序列依照顺序依次输入到参数调整后的所述第二神经网络中，得到对应的第二时序编码信息；

将所述第二时序编码信息输入到参数调整后的所述第三神经网络中，得到所述识别运镜类别。

2.如权利要求1所述的视频运镜的识别方法，其特征在于，所述对所述训练数据集的每个视频流进行运镜转换，以将每个视频流的第一运镜类别转换为第二运镜类别，具体包括以下步骤：

获取所述训练数据集的每个视频流对应的所述第一运镜类别；

根据视频流对应的所述第一运镜类别对视频流进行运镜转换，以转换得到与所述第一运镜类别不同的所述第二运镜类别。

3.如权利要求1所述的视频运镜的识别方法，其特征在于，所述将每个视频流的第一图像输入序列输入到第一神经网络、第二神经网络和第三神经网络中，得到预测运镜类别，具体包括以下步骤：

将每个视频流的第一图像输入序列输入到所述第一神经网络中，以得到对应的第一视觉特征向量序列；

将所述第一视觉特征向量序列依照顺序依次输入到所述第二神经网络中，得到对应的第一时序编码信息；

将所述第一时序编码信息输入到所述第三神经网络中，得到预测运镜类别。

4.如权利要求1所述的视频运镜的识别方法，其特征在于，所述第一运镜类别与所述第二运镜类别相反。

5.如权利要求1所述的视频运镜的识别方法，其特征在于，所述获取运镜转换前、后的所述训练数据集的每个视频流的第一图像输入序列，具体包括以下步骤：

获取运镜转换前的所述训练数据集的每个视频流；

获取运镜转换后的所述训练数据集的每个视频流；

对获取得到的每个视频流进行取帧处理，以得到每个视频流的图像输入序列。

6.如权利要求5所述的视频运镜的识别方法，其特征在于，所述对获取得到的每个视频流进行取帧处理，以得到每个视频流的图像输入序列，具体包括：按照预设时间周期获取视频流的预设数量的视频帧，根据获取到视频帧的时间顺序生成所述图像输入序列。

7.如权利要求1所述的视频运镜的识别方法，其特征在于，所述预设算法为梯度下降算法。

8.一种视频运镜的识别系统，其特征在于，包括：训练模块和识别模块；

所述训练模块包括：

数据集获取单元，用于获取训练数据集，所述训练数据集包括至少一个视频流和每个视频流对应的第一运镜类别；

运镜转换单元，用于对所述训练数据集的每个视频流进行运镜转换，以将每个视频流的第一运镜类别转换为第二运镜类别；

其中，所述第一运镜类别与所述第二运镜类别不同；

序列获取单元，用于获取运镜转换前、后的所述训练数据集的每个视频流的第一图像输入序列；

预测单元，用于将每个视频流的第一图像输入序列依次输入到第一神经网络、第二神经网络和第三神经网络中，得到预测运镜类别；其中，所述第一神经网络为Resnet神经网络，所述第二神经网络为循环神经网络，所述第三神经网络为全连接神经网络；

参数调整单元，用于将同一视频流对应的预测运镜类别与所述第一运镜类别或第二运镜类别进行比对，以得到比对结果，根据所述比对结果采用预设算法更新所述第二神经网络和所述第三神经网络的参数；

所述识别模块，用于获取待识别视频流的第二图像输入序列，并依次输入到所述第一神经网络，以及进行参数调整后的所述第二神经网络和所述第三神经网络中，获得识别运镜类别，具体包括：

获取所述待识别视频流的所述第二图像输入序列；将所述待识别视频流的所述第二图像输入序列输入到所述第一神经网络中，以得到对应的第二视觉特征向量序列；将所述第二视觉特征向量序列依照顺序依次输入到参数调整后的所述第二神经网络中，得到对应的第二时序编码信息；将所述第二时序编码信息输入到参数调整后的所述第三神经网络中，得到所述识别运镜类别。