[发明专利]一种视频分类的方法以及服务器

权利要求书

1.一种视频分类的方法，其特征在于，包括：

获取待处理视频，其中，所述待处理视频中包含至少一个视频帧，每个视频帧对应一个时刻；

通过视频分类预测模型获取所述待处理视频所对应的视觉信号特征序列，其中，所述视觉信号特征序列包括至少一个视觉信号特征，每个视觉信号特征对应一个时刻；

通过所述视频分类预测模型获取所述视觉信号特征序列所对应的音频信号特征序列，其中，所述音频信号特征序列包括至少一个音频信号特征，每个音频信号特征对应一个时刻；

根据所述视觉信号特征序列以及所述音频信号特征序列，生成目标信号特征序列；

通过所述视频分类预测模型获取所述目标信号特征序列所对应的分类预测结果，其中，所述分类预测结果用于预测所述待处理视频的视频类型；

所述通过所述视频分类预测模型获取所述视觉信号特征序列所对应的音频信号特征序列，包括：

获取第一时刻的视觉信号特征以及第二时刻的视觉信号隐状态特征，其中，所述第二时刻为所述第一时刻的前一个相邻的时刻；

通过所述视频分类预测模型中的第二子模型获取所述第一时刻的视觉信号隐状态特征，其中，所述第一时刻的视觉信号隐状态特征与所述第一时刻的视觉信号特征具有对应关系，且所述第一时刻的视觉信号隐状态特征与所述第二时刻的视觉信号隐状态特征具有对应关系；

获取所述第二时刻的音频信号隐状态特征；

通过所述视频分类预测模型中的第二子模型获取所述第一时刻的音频信号隐状态特征，其中，所述第一时刻的音频信号隐状态特征与所述第二时刻的音频信号隐状态特征具有对应关系，且所述第一时刻的音频信号隐状态特征与所述第一时刻的视觉信号隐状态特征具有对应关系，所述第二子模型包括基于递归门单元GRU的递归神经模型；

根据所述第一时刻的音频信号隐状态特征，生成所述第一时刻的音频信号特征；

根据所述每个视觉信号特征的音频信号特征，生成所述视觉信号特征序列所对应的音频信号特征序列。

2.根据权利要求1所述的方法，其特征在于，所述通过视频分类预测模型获取所述待处理视频所对应的视觉信号特征序列，包括：

通过所述视频分类预测模型中的第一子模型，获取所述待处理视频中每个视频帧的视觉信号特征，其中，所述第一子模型包括卷积神经网络CNN模型；

根据所述每个视频帧的视觉信号特征，生成所述待处理视频所对应的视觉信号特征序列。

3.根据权利要求1所述的方法，其特征在于，所述通过所述视频分类预测模型中的第二子模型获取所述第一时刻的视觉信号隐状态特征，包括：

采用如下方式计算所述第一时刻的视觉信号隐状态特征：

h_t＝GRU(x_t,h_t-1)fort∈[1,T]；

其中，所述h_t表示所述第一时刻的视觉信号隐状态特征，所述GRU()表示递归门单元函数，所述x_t表示所述第一时刻的视觉信号特征，所述h_t-1表示所述第二时刻的音频信号隐状态特征，所述t表示所述第一时刻，所述T表示所述待处理视频的总时刻数。

4.根据权利要求1所述的方法，其特征在于，所述通过所述视频分类预测模型中的第二子模型获取所述第一时刻的音频信号隐状态特征，包括：

采用如下方式计算所述第一时刻的音频信号隐状态特征：

y_t＝GRU(h_t,y_t-1)fort∈[1,T]；

其中，所述y_t表示所述第一时刻的音频信号隐状态特征，所述GRU()表示递归门单元函数，所述h_t表示所述第一时刻的视觉信号隐状态特征，所述y_t-1表示所述第二时刻的音频信号隐状态特征，所述t表示所述第一时刻，所述T表示所述待处理视频的总时刻数。