[发明专利]视频分类方法、装置及电子设备

权利要求书

1.一种视频分类方法，其特征在于，包括：

获取待分类视频；

根据所述待分类视频中的多个目标图像帧，确定所述待分类视频对应的目标图像集，其中，所述目标图像集中包括所述多个目标图像帧；

将所述目标图像集输入至目标分类模型，并获得所述目标分类模型输出的所述目标图像集对应的目标视频场景，其中，所述目标分类模型用于获取所述目标图像集中每个目标图像帧对应的图像特征，并根据所述每个目标图像帧对应的图像特征确定所述目标视频场景；

根据所述目标图像集对应的所述目标视频场景，确定所述待分类视频的分类结果，其中，所述分类结果用于指示所述待分类视频的视频场景；

所述图像特征包括浅层特征、深层特征、空间特征和时序特征中的一种或多种，所述浅层特征为所述目标图像集的基础特征，所述浅层特征包括边缘或轮廓，所述深层特征为所述目标图像集的抽象特征；所述目标分类模型包括特征融合网络，以及与所述特征融合网络连接的特征提取网络；其中，所述将所述目标图像集输入至目标分类模型，并获得所述目标分类模型输出的所述目标图像集对应的目标视频场景的步骤，包括：将所述目标图像集输入至目标分类模型的特征提取网络，通过所述特征提取网络提取所述目标图像集中每个目标图像帧的浅层特征；将所述浅层特征输入至所述目标分类模型的特征融合网络，通过所述特征融合网络基于所述浅层特征提取所述目标图像集中每个目标图像帧的深层特征、空间特征和时序特征，并基于所述深层特征、所述空间特征和所述时序特征输出所述目标图像集对应的目标视频场景；所述深层特征的特征层次高于所述浅层特征的特征层次。

2.根据权利要求1所述的方法，其特征在于，在所述将所述目标图像集输入至目标分类模型的特征提取网络，通过所述特征提取网络提取所述目标图像集中每个目标图像帧的浅层特征的步骤之前，所述方法还包括：

获取预训练模型，将所述预训练模型的网络参数设置为所述特征提取网络的初始参数；

通过反向传播对设置初始参数后的特征提取网络的指定层进行训练，并将训练后的特征提取网络作为所述目标分类模型中的特征提取网络。

3.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括依次连接的多个特征提取子网络；

所述将所述目标图像集输入至目标分类模型的特征提取网络，通过所述特征提取网络提取所述目标图像集中每个目标图像帧的浅层特征的步骤，包括：

将所述目标图像集输入至目标分类模型的特征提取网络中第一个特征提取子网络，通过所述第一个特征提取子网络对所述目标图像集中每个目标图像帧进行特征提取；

按照所述特征提取子网络的连接顺序，将所述第一个特征提取子网络提取的特征输入至下一特征提取子网络，通过所述下一特征提取子网络对所述第一个特征提取子网络提取的特征进行特征提取，直至得到所述目标图像集中每个目标图像帧的浅层特征。

4.根据权利要求1所述的方法，其特征在于，所述通过所述特征融合网络基于所述浅层特征提取所述目标图像集中每个目标图像帧的深层特征、空间特征和时序特征，并基于所述深层特征、所述空间特征和所述时序特征输出所述目标图像集对应的目标视频场景的步骤，包括：

所述特征融合网络根据所述深层特征，确定所述目标图像集对应的第一概率集，其中，所述第一概率集中包括多个第一概率，每个所述第一概率用于指示所述目标图像集属于一种视频场景的概率；

所述特征融合网络根据所述空间特征，确定所述目标图像集对应的第二概率集，其中，所述第二概率集中包括多个第二概率，每个所述第二概率用于指示所述目标图像集属于一种视频场景的概率；

所述特征融合网络根据所述时序特征，确定所述目标图像集对应的第三概率集，其中，所述第三概率集中包括多个第三概率，每个所述第三概率用于指示所述目标图像集属于一种视频场景的概率；

对同一所述视频场景对应的所述第一概率、所述第二概率和所述第三概率进行加权计算，得到各个所述视频场景对应的加权概率；

将最大加权概率对应的视频场景，确定为所述目标图像集对应的目标视频场景。