[发明专利]一种视频分类的方法、模型训练的方法及装置

权利要求书

1.一种视频分类的方法，其特征在于，包括：

获取待分类视频文件所对应的图像帧序列，其中，所述图像帧序列中包括T帧图像，所述T为大于1的整数；

通过图像分类网络模型获取所述图像帧序列所对应的外观信息特征序列，其中，所述外观信息特征序列中包括T个外观信息特征，所述外观信息特征与所述图像帧具有对应关系；

通过运动预测网络模型获取所述外观信息特征序列所对应的运动信息特征序列，其中，所述运动信息特征序列包括T个运动信息特征，所述运动信息特征与所述外观信息特征具有对应关系，所述运动预测网络模型用于预测所述外观信息特征所对应的所述运动信息特征；

根据所述外观信息特征序列以及所述运动信息特征序列确定所述待分类视频文件的视频分类结果，包括：通过视频分类模型获取所述外观信息特征序列以及所述运动信息特征序列所对应的视频类别向量，其中，所述视频类别向量包括C个视频类别元素，所述C为大于1的整数；从所述视频类别向量中确定至少一个目标视频类别元素；根据所述至少一个目标视频类别元素生成所述待分类视频文件的所述视频分类结果。

2.根据权利要求1所述的方法，其特征在于，所述获取待分类视频文件所对应的图像帧序列，包括：

获取所述待分类视频文件；

对所述待分类视频文件进行解码处理，得到所述图像帧序列，其中，每个帧图像具有相同的采样频率。

3.根据权利要求1所述的方法，其特征在于，所述通过图像分类网络模型获取所述图像帧序列所对应的外观信息特征序列，包括：

通过所述图像分类网络模型获取第t帧图像所对应的外观信息特征，其中，所述t大于或等于1，且小于或等于所述T的整数；

当获取到所述T帧图像中每帧图像所对应的外观信息特征时，根据所述T个外观信息特征生成所述外观信息特征序列。

4.根据权利要求1所述的方法，其特征在于，所述通过运动预测网络模型获取所述外观信息特征序列所对应的运动信息特征序列，包括：

获取第i个步骤所对应的第t个外观信息特征，其中，所述i为大于或等于1的整数，所述t大于或等于1，且小于或等于所述T的整数；

获取第(i-1)个步骤所对应的第(t+1)个运动信息特征以及第(t-1)个运动信息特征；

通过所述运动预测网络模型，根据所述第t个外观信息特征、所述第(t+1)个运动信息特征以及第(t-1)个运动信息特征，确定所述第i个步骤所对应的第t个运动信息特征；

当获取到所述T个外观信息特征中每个外观信息特征所对应的运动信息特征时，根据所述T个运动信息特征生成所述运动信息特征序列。

5.根据权利要求4所述的方法，其特征在于，所述根据所述第t个外观信息特征、所述第(t+1)个运动信息特征以及第(t-1)个运动信息特征，确定所述第i个步骤所对应的第t个运动信息特征，包括：

通过所述运动预测网络模型的更新门，根据所述第t个外观信息特征、所述第(t+1)个运动信息特征以及第(t-1)个运动信息特征，计算得到所述第i个步骤所对应的第(t+1)个更新门向量以及第(t-1)个更新门向量；

通过所述运动预测网络模型的输出门，根据所述第t个外观信息特征、所述第(t+1)个运动信息特征以及第(t-1)个运动信息特征，计算得到所述第i个步骤所对应的第(t+1)个输出门向量以及第(t-1)个输出门向量；

通过所述运动预测网络模型的隐藏层，根据所述第t个外观信息特征、所述第(t+1)个运动信息特征、第(t-1)个运动信息特征、所述第(t+1)个更新门向量以及所述第(t-1)个更新门向量，计算得到所述第i个步骤所对应的第t个隐藏层特征向量；

通过所述运动预测网络模型的最终输出层，根据所述第t个隐藏层特征向量、所述第i个步骤所对应的第(t+1)个输出门向量以及第(t-1)个输出门向量，计算得到所述第i个步骤所对应的第t个运动信息特征。