[发明专利]一种视频分类方法、装置及电子设备

权利要求书

1.一种视频分类方法，其特征在于，包括：

获取待处理的视频文件，作为待处理视频；

针对多个模态中的每个模态，提取所述待处理视频在该模态上的特征；

利用多头自注意力机制，计算所述待处理视频在该模态上的注意力值，所述注意力值用于表示所述待处理视频在该模态上的特征与所述待处理视频在其他模态上的特征间的上下文关系；

融合所述待处理视频在每个模态上的所述注意力值，得到所述待处理视频的融合特征；

利用预先训练得到的模型，对所述融合特征进行映射，得到所述待处理视频的分类结果，所述模型用于实现融合特征到分类结果的映射；

其中，所述融合所述待处理视频在每个模态上的所述注意力值，得到所述待处理视频的融合特征，包括：

拼接所述待处理视频在每个模态上的所述注意力值，得到拼接结果，作为多头注意力值；

将所述多头注意力值输入至预先经过训练的前馈神经子网络，得到所述前馈神经子网络的输出，作为所述待处理视频的融合特征，所述前馈神经子网络用于将多头注意力值映射至融合特征。

2.根据权利要求1所述的方法，其特征在于，所述利用多头自注意力机制，计算所述待处理视频在该模态上的注意力值，包括：

分别计算待处理视频在该模态与所述多个模态中各个模态上特征的相似度，作为各个模态对应的权重；

对各个模态上的特征与对应的权重的乘积进行叠加，得到叠加结果，作为待处理视频在该模态上的注意力值。

3.根据权利要求1所述的方法，其特征在于，所述前馈神经子网络包括前馈神经元；

所述将所述多头注意力值输入至预先经过训练的前馈神经子网络，得到所述前馈神经子网络的输出，作为所述待处理视频的融合特征，包括：

将所述多头注意力值输入至预先经过训练的所述前馈神经元，得到所述前馈神经元的输出，作为所述待处理视频的残差，所述残差用于表示所述待处理视频的融合特征与所述多头注意力值的差值，所述前馈神经元用于将多头注意力值映射至待处理视频的残差；

将所述待处理视频的残差与所述多头注意力值进行元素级加法，得到所述待处理视频的融合特征。

4.一种视频分类装置，其特征在于，包括：

视频获取模块，用于获取待处理的视频文件，作为待处理视频；

特征提取模块，被配置为执行针对多个模态中的每个模态，提取待处理视频在该模态上的特征；

注意力模块，被配置为执行利用多头自注意力机制，计算所述待处理视频在该模态上的注意力值，所述注意力值用于表示所述待处理视频在该模态上的特征与所述待处理视频在其他模态上的特征间的上下文关系；

融合模块，被配置为执行融合所述待处理视频在每个模态上的所述注意力值，得到所述待处理视频的融合特征；

分类模块，用于利用预先训练得到的模型，对所述融合特征进行映射，得到所述待处理视频的分类结果，所述模型用于实现融合特征到分类结果的映射；

其中，所述融合模块，具体被配置为执行拼接所述待处理视频在每个模态上的所述注意力值，得到拼接结果，作为多头注意力值；

将所述多头注意力值输入至预先经过训练的前馈神经子网络，得到所述前馈神经子网络的输出，作为所述待处理视频的融合特征，所述前馈神经子网络用于将多头注意力值映射至融合特征。

5.根据权利要求4所述的装置，其特征在于，所述注意力模块，具体被配置为执行分别计算待处理视频在该模态与所述多个模态中各个模态上特征的相似度，作为各个模态对应的权重；

对各个模态上的特征与对应的权重的乘积进行叠加，得到叠加结果，作为待处理视频在该模态上的注意力值。

6.根据权利要求4所述的装置，其特征在于，所述前馈神经子网络包括前馈神经元；

所述融合模块，具体被配置为执行将所述多头注意力值输入至预先经过训练的所述前馈神经元，得到所述前馈神经元的输出，作为所述待处理视频的残差，所述残差用于表示所述待处理视频的融合特征与所述多头注意力值的差值，所述前馈神经元用于将多头注意力值映射至待处理视频的残差；

将所述待处理视频的残差与所述多头注意力值进行元素级加法，得到所述待处理视频的融合特征。