[发明专利]基于双流网络的场景分类方法、系统、设备及介质

权利要求书

1.一种基于双流网络的场景分类方法，其特征在于，用于对短视频图像中的场景进行分类，所述场景分类方法包括：

短视频图像处理步骤：对短视频图像进行抽帧提取获得多个视频帧，根据多个所述视频帧获得具有对应多个所述视频帧的多个第一图片信息的图像数据集；

图片信息处理步骤：对所述图像数据集的每一所述第一图片信息进行遮挡处理获得对应的第二图片信息；

分类识别步骤：通过双流网络对所述第一图片信息及所述第二图片信息进行分类识别获得对应每一所述第一图片信息的图像场景概率；

图像概率处理步骤：根据每一所述第一图片信息的图像场景概率计算获得所述短视频图像的每一场景类别的场景概率。

2.如权利要求1所述的场景分类方法，其特征在于，所述短视频图像处理步骤包括：将所述短视频图像进行抽帧提取，获取到所述短视频图像的分辨率及多个所述视频帧，根据所述分辨率对所述视频帧进行抽样保存获得所述图像数据集。

3.如权利要求1所述的场景分类方法，其特征在于，所述分类识别步骤包括：

样本图像数据集获取步骤：对样本短视频图像进行抽帧提取获得多个样本视频帧，根据多个所述样本视频帧获得具有对应多个所述样本视频帧的多个第一样本图片信息的样本图像数据集；

样本图片信息处理步骤：对所述样本图像数据集的每一所述第一样本图片信息进行遮挡处理获得对应的第二样本图片信息；

特征向量提取步骤：通过第一resnet-32网络结构对所述第一样本图片信息进行特征提取获得第一特征向量，通过第二resnet-32网络结构对所述第二样本图片信息进行特征提取获得第二特征向量；

特征向量距离处理步骤：计算所述第一特征向量及所述第二特征向量在欧式空间下的距离后，通过L2正则化缩小所述第一特征向量及所述第二特征向量件的距离获得所述双流网络；

图像场景概率输出步骤：通过所述双流网络对所述第一图片信息及所述第二图片信息进行分类识别获得对应每一所述第一图片信息的第一图像场景概率及对应每一所述第二图片信息的第二图像场景概率；

聚合步骤：对所述第一图像场景概率及所述第二图像场景概率进行聚合获得对应每一所述第一图片信息的图像场景概率。

4.如权利要求3所述的场景分类方法，其特征在于，所述图像概率处理步骤包括：根据每一场景类别的所有的所述第一图片信息的图像概率进行均值计算获得每一场景类别的场景概率。

5.一种基于双流网络的场景分类系统，其特征在于，用于对短视频图像中的场景进行分类，所述场景分类系统包括：

短视频图像处理单元，对短视频图像进行抽帧提取获得多个视频帧，根据多个所述视频帧获得具有对应多个所述视频帧的多个第一图片信息的图像数据集；

图片信息处理单元，对所述图像数据集的每一所述第一图片信息进行遮挡处理获得对应的第二图片信息；

分类识别单元，通过双流网络对所述第一图片信息及所述第二图片信息进行分类识别获得对应每一所述第一图片信息的图像场景概率；

图像概率处理单元，根据每一所述第一图片信息的图像场景概率计算获得所述短视频图像的每一场景类别的场景概率。

6.如权利要求5所述的场景分类系统，其特征在于，所述短视频图像处理单元将所述短视频图像进行抽帧提取，获取到所述短视频图像的分辨率及多个所述视频帧，根据所述分辨率对所述视频帧进行抽样保存获得所述图像数据集。