[发明专利]视频分类处理方法、装置、计算机设备及存储介质

权利要求书

1.一种视频分类处理方法，所述方法包括：

获取目标视频；

提取所述目标视频的多模态的数据；

对各模态的数据进行分类预测，得到分别对应于各模态的、且用于表征目标视频属于各预设类别的概率的概率向量；

将对应于各模态的概率向量进行组合；

将组合后得到的向量分别输入预先训练的梯度提升分类回归树模型的各分类回归树中进行分类处理，得到各分类回归树所预测的用于表征目标视频属于各预设类别的概率的子概率向量；

获取每棵分类回归树相应的决策权重；

将各棵分类回归树所预测的子概率向量按照相应的决策权重进行加权平均，得到用于表征目标视频属于各预设类别的概率的最终概率向量；

选取所述最终概率向量中的最大概率值所对应的预设类别，得到所述目标视频最终属于的类别。

2.根据权利要求1所述的方法，其特征在于，所述多模态的数据包括从目标视频中提取的属于视频帧模态的视频帧、属于视频文本模态的描述文本、以及属于音频模态的音频文件中的至少两种。

3.根据权利要求1所述的方法，其特征在于，所述多模态的数据包括属于视频文本模态的描述文本；所述对各模态的数据进行分类预测，得到分别对应于各模态的、且用于表征目标视频属于各预设类别的概率的概率向量包括：

编码对描述文本进行分词后的词片段，生成各词片段相应的隐含状态向量；

获取各隐含状态向量对应的注意力权重；

根据各隐含状态向量和相应注意力权重，得到最终隐含状态向量；

解码所述最终隐含状态向量，得到对应于视频文本模态的、且用于表征目标视频属于各预设类别的概率的概率向量。

4.根据权利要求3所述的方法，其特征在于，所述编码对描述文本进行分词后的词片段，生成各词片段相应的隐含状态向量包括：

将对描述文本进行分词后的词片段编码为词向量，得到词向量序列；

按照词向量序列中各词向量的先后顺序，对各词向量依次进行编码，在每次编码时，根据当前词向量和对前一词向量编码输出的隐含状态向量进行编码，生成所述当前词向量相应的隐含状态向量。

5.根据权利要求4所述的方法，其特征在于，所述在每次编码时，根据当前词向量和对前一词向量编码输出的隐含状态向量进行编码，生成所述当前词向量相应的隐含状态向量包括：

在每次编码时，将当前词向量和前一编码单元输出的隐含状态向量输入文本分类模型中的当前编码单元，生成当前编码单元的临时单元状态向量、所述临时单元状态向量相应的输入权重、上一单元状态向量的遗忘权重和当前单元状态向量的输出权重；

将所述上一单元状态向量按照所述遗忘权重进行保留，得到第一向量；所述第一向量用于表征上一单元状态需保留信息；

将所述临时单元状态向量按照所述输入权重进行保留，得到第二向量；所述第二向量用于表征当前词向量需保留信息；

根据第一向量和第二向量，得到所述当前编码单元的当前单元状态向量；

将所述当前单元状态向量按照所述输出权重进行输出，得到当前词向量相应的隐含状态向量。

6.根据权利要求1所述的方法，其特征在于，所述多模态的数据包括从目标视频中提取的属于视频帧模态的视频帧；

所述对各模态的数据进行分类预测，得到分别对应于各模态的、且用于表征目标视频属于各预设类别的概率的概率向量包括：

分别卷积处理各视频帧，得到与各视频帧相应的视频帧特征向量；

对各视频帧特征向量进行平均池化处理；

对平均池化处理后的向量进行归一化处理，生成对应于所述视频帧模态的、且用于表征目标视频属于各预设类别的概率的概率向量。

7.根据权利要求6所述的方法，其特征在于，所述分别卷积处理各视频帧，得到与各视频帧相应的视频帧特征向量包括：

将每个视频帧输入卷积神经网络模型中进行多层卷积处理，在每层卷积处理时，将所述视频帧和所述视频帧的前一层卷积结果作为当层卷积处理的输入，进行联合卷积处理，得到当层卷积结果；

将最后一层卷积结果，作为所述视频帧的视频帧特征向量。