[发明专利]视频的多标签分类方法、装置、电子设备与存储介质

权利要求书

1.一种视频的多标签分类方法，其特征在于，包括：

将待分类的视频和随机初始化的标签信息分别输入至预先训练的视频的多标签分类模型中的视频处理模块和标签处理模块中，所述标签处理模块基于预先建立的多标签体系建模而成；

将所述标签处理模块的网络结构中至少一层的标签特征信息与所述视频处理模块的网络结构中对应的至少一层的视频特征信息分别进行融合；

获取所述视频处理模块在所述标签处理模块的所述多标签体系下，基于融合后的特征信息，为所述待分类的视频打上的多个标签。

2.根据权利要求1所述的方法，其特征在于，所述随机初始化的标签信息与所述标签处理模块训练时采用的随机初始化的标签信息相同。

3.根据权利要求1或2所述的方法，其特征在于，所述标签处理模块采用图卷积网络结构，所述视频处理模块采用卷积神经网络结构。

4.一种视频的多标签分类模型的训练方法，其特征在于，所述视频的多标签分类模型为权利要求1-3中任一权利要求使用的视频的多标签分类模型，包括：

采集数条训练视频；

为各所述训练视频标注多个标签；

采用所述数条训练视频以及为各所述训练视频标注的所述多个标签训练所述视频的多标签分类模型，所述视频的多标签分类模型包括视频处理模块和标签处理模块。

5.根据权利要求4所述的方法，其特征在于，采用所述数条训练视频以及为各所述训练视频标注的所述多个标签训练所述视频的多标签分类模型之前，所述方法包括：

基于预先建立的多标签体系，构建所述标签处理模块；和/或

为所述标签处理模块配置随机初始化的标签信息。

6.根据权利要求5所述的方法，其特征在于，采用所述数条训练视频以及为各所述训练视频标注的所述多个标签训练所述视频的多标签分类模型，包括：

对于各所述训练视频，将所述训练视频输入和所述随机初始化的标签信息分别输入至所述视频处理模块和所述标签处理模块中；

将所述标签处理模块的网络结构中至少一层的训练标签特征信息与所述视频处理模块的网络结构中对应的至少一层的训练视频特征信息分别融合；

获取所述视频处理模块在所述标签处理模块的所述多标签体系下，基于融合后的训练特征信息，预测的所述训练视频的多个标签；

判断预测的所述多个标签与标注的所述多个标签是否一致；

若不一致，调整所述视频处理模块和所述标签处理模块中的参数，使得两者一致。

7.一种视频的多标签分类装置，其特征在于，包括：

输入模块，用于将待分类的视频和随机初始化的标签信息分别输入至预先训练的视频的多标签分类模型中的视频处理模块和标签处理模块中，所述标签处理模块基于预先建立的多标签体系建模而成；

融合处理模块，用于将所述标签处理模块的网络结构中至少一层的标签特征信息与所述视频处理模块的网络结构中对应的至少一层的视频特征信息分别进行融合；

获取模块，用于获取所述视频处理模块在所述标签处理模块的所述多标签体系下，基于融合后的特征信息，为所述待分类的视频打上的多个标签。

8.根据权利要求7所述的装置，其特征在于，所述随机初始化的标签信息与所述标签处理模块训练时采用的随机初始化的标签信息相同。

9.根据权利要求7或8所述的装置，其特征在于，所述标签处理模块采用图卷积网络结构，所述视频处理模块采用卷积神经网络结构。

10.一种视频的多标签分类模型的训练装置，其特征在于，所述视频的多标签分类模型为权利要求7-9中任一权利要求使用的视频的多标签分类模型，包括：

采集模块，用于采集数条训练视频；

标注模块，用于为各所述训练视频标注多个标签；

训练模块，用于采用所述数条训练视频以及为各所述训练视频标注的所述多个标签训练所述视频的多标签分类模型，所述视频的多标签分类模型包括视频处理模块和标签处理模块。