[发明专利]一种视频分类的方法、视频分类模型训练的方法及装置

权利要求书

1.一种视频分类的方法，其特征在于，包括：

从待分类视频中获取目标视频帧所对应的L个前瞻视频帧，其中，所述待分类视频包括T个视频帧，所述L个前瞻视频帧包括所述目标视频帧以及与所述目标视频帧相邻的后L-1个视频帧在内的L个视频帧，所述T为大于1的整数，所述L为大于或等于1，且小于所述T的整数；

通过卷积神经网络CNN获取所述L个前瞻视频帧所对应的L个前瞻视频帧特征，其中，每个前瞻视频帧对应一个前瞻视频帧特征；

通过视频分类模型中的跳帧器获取所述L个前瞻视频帧特征所对应的计划跳帧向量，其中，所述计划跳帧向量包括每个前瞻视频帧对应的分值元素，所述分值元素用于表示所述前瞻视频帧的选择情况；

根据所述计划跳帧向量选择所述待分类视频所对应的待分类视频帧，其中，所述待分类视频帧所对应的分值元素为第一分值，所述待分类视频帧为M个，所述M小于所述T，且所述M为正整数；

根据循环神经网络RNN对所述待分类视频帧进行处理得到输出结果，通过所述视频分类模型中的分类器对所述输出结果进行处理确定所述待分类视频的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述通过视频分类模型中的跳帧器获取所述L个前瞻视频帧特征所对应的计划跳帧向量，包括：

通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第一估计向量，其中，所述第一估计向量包括L个第一元素，所述第一元素用于表示前瞻视频帧属于边界帧的概率；

通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第二估计向量，其中，所述第二估计向量包括L个第二元素，所述第二元素用于表示前瞻视频帧在所述待分类视频中的重要程度；

根据所述第一估计向量以及所述第二估计向量，确定所述计划跳帧向量。

3.根据权利要求2所述的方法，其特征在于，所述通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第一估计向量，包括：

获取所述跳帧器的第一跳帧器参数以及第二跳帧器参数；

根据所述L个前瞻视频帧特征中的前瞻视频帧特征、所述第一跳帧器参数以及第二跳帧器参数，计算得到所述前瞻视频帧特征所对应的第一元素；

根据L个所述前瞻视频帧特征所对应的第一元素，生成所述第一估计向量。

4.根据权利要求3所述的方法，其特征在于，所述根据所述L个前瞻视频帧特征中的前瞻视频帧特征、所述第一跳帧器参数以及第二跳帧器参数，计算得到所述前瞻视频帧特征所对应的第一元素，包括：

采用如下方式计算所述前瞻视频帧特征所对应的第一元素：

其中，所述表示第i个前瞻视频帧特征所对应的第一元素，i∈{0,1,...,L-1}，所述L表示所述第一估计向量中第一元素的个数，所述W_θ表示所述第一跳帧器参数，所述W_φ表示所述第二跳帧器参数，所述()^T表示转置运算，所述||||₂表示L2范数，所述x_t+i表示第(t+i)个前瞻视频帧特征，所述x_t+i+1表示第(t+i+1)个前瞻视频帧特征。

5.根据权利要求2所述的方法，其特征在于，所述通过所述跳帧器获取所述L个前瞻视频帧特征所对应的第二估计向量，包括：

根据所述L个前瞻视频帧特征获取L个注意力值，其中，每个注意力值对应一个前瞻视频帧特征；

获取目标隐状态，其中，所述目标隐状态表示输入至所述分类器的最后一个视频帧所对应的隐状态；

根据注意力值以及所述目标隐状态，计算得到所述前瞻视频帧特征所对应的第二元素；

根据L个所述前瞻视频帧特征所对应的第二元素，生成所述第二估计向量。