[发明专利]一种视频分类方法、装置及电子设备

权利要求书

1.一种视频分类方法，其特征在于，包括：

获取待处理的视频文件，作为待处理视频；

针对多个模态中的每个模态，提取所述待处理视频在该模态上的信息的特征，作为所述待处理视频在该模态上的初始特征；

根据所述待处理视频在该模态上的所述初始特征，计算所述待处理视频在该模态上的注意力值，所述注意力值用于表示所述待处理视频在该模态上的信息的上下文关系；

以所述注意力值作为权重，对所述待处理视频在该模态上的所述初始特征进行加权，得到所述待处理视频在该模态上的加权特征；

拼接所述待处理视频在各个模态上的所述加权特征，得到所述待处理视频的融合特征；

利用预先训练得到的模型，对所述融合特征进行映射，得到所述待处理视频的分类结果，所述模型用于实现融合特征到分类结果的映射。

2.根据权利要求1所述的方法，其特征在于，所述针对多个模态中的每个模态，提取待处理视频在该模态上的信息的特征，作为所述待处理视频在该模态上的初始特征，包括：

针对多个模态中的每个模态，将待处理视频在该模态上的信息输入至预先经过训练的特征提取网络，得到所述特征提取网络的输出，作为所述待处理视频在该模态上的初始特征，所述特征提取网络为用于提取输入的信息的特征的卷积神经网络或循环神经网络。

3.根据权利要求1所述的方法，其特征在于，所述根据所述待处理视频在该模态上的所述初始特征，计算所述待处理视频在该模态上的注意力值，包括：

将所述待处理视频在该模态上的所述初始特征输入至预设的自注意力网络，得到所述自注意力网络的输出，作为所述待处理视频在该模态上的注意力值，所述自注意力网络为用于利用自注意力机制计算输入的特征的注意力值的T*1维全连接网络，其中，T为所述待处理视频在该模态上的所述初始特征的维度。

4.根据权利要求1所述的方法，其特征在于，所述以所述注意力值作为权重，对所述待处理视频在该模态上的所述初始特征进行加权，得到所述待处理视频在该模态上的加权特征，包括：

将所述待处理视频在该模态上的所述初始特征和所述注意力值输入至预设的元素级乘法单元，得到所述元素级乘法单元的输出，作为所述待处理视频在该模态上的加权特征，所述元素级乘法单元用于对输入的初始特征和注意力值进行元素级乘法运算，并输出元素级乘法运算结果。

5.一种视频分类装置，其特征在于，包括：

视频获取模块，被配置为执行获取待处理的视频文件，作为待处理视频；

特征提取模块，被配置为执行针对多个模态中的每个模态，提取待处理视频在该模态上的信息的特征，作为所述待处理视频在该模态上的初始特征；

自注意力模块，被配置为执行根据所述待处理视频在该模态上的所述初始特征，计算所述待处理视频在该模态上的注意力值，所述注意力值用于表示所述待处理视频在该模态上的信息的上下文关系；

特征加权模块，被配置为执行以所述注意力值作为权重，对所述待处理视频在该模态上的所述初始特征进行加权，得到所述待处理视频在该模态上的加权特征；

特征拼接模块，被配置为执行拼接所述待处理视频在各个模态上的所述加权特征，得到所述待处理视频的融合特征；

分类模块，被配置为执行利用预先训练得到的模型，对所述融合特征进行映射，得到所述待处理视频的分类结果，所述模型用于实现融合特征到分类结果的映射。

6.根据权利要求5所述的装置，其特征在于，所述特征提取模块，具体被配置为执行针对多个模态中的每个模态，将待处理视频在该模态上的信息输入至预先经过训练的特征提取网络，得到所述特征提取网络的输出，作为所述待处理视频在该模态上的初始特征，所述特征提取网络为用于提取输入的信息的特征的卷积神经网络或循环神经网络。