[发明专利]基于空域分类网络和时域分类网络融合的视频分类方法

摘要

本发明公开了一种基于空域分类网络和时域分类网络融合的视频分类方法，主要解决现有视频分类方法准确率低的问题。其实现方案为1)获取训练集和测试视频；2)从训练集中提取视频帧；3)使用训练集对卷积神经网络进行训练；4)对从训练集中提取的视频帧提取特征；5)使用训练集对空域分类网络进行训练；6)使用训练集对时域分类网络进行训练；7)使用训练后的空域分类网络和时域分类网络对测试视频进行分类，并对空域分类网络和时域分类网络的分类结果进行融合，完成对视频的分类。本发明相比现有视频分类方法有效提高了分类准确率，可用于视频的特征提取和识别。

主权项

1.基于空域分类网络和时域分类网络融合的视频分类方法，包括：1)获取训练集和测试视频：从已标记类别的视频数据库中任取N个视频组成训练集：X＝{x1,x2,...,xk,...,xN}，其中xk是第k个训练集视频，xk的标签为yk，k＝1,2,...,N；将剩余视频组成测试集，从测试集中取一个视频作为测试视频xtest；2)提取训练集X中训练集视频x_k的全部视频帧其中，τ＝1,2,...,T，T为视频x_k中所包含视频帧的数目，以训练集视频x_k的标签y_k作为全部视频帧的标签；3)以全部视频帧及其标签y_k作为训练数据，对卷积神经网络进行训练，得到训练好的卷积神经网络Z；4)提取全部视频帧的特征：4a)计算全部视频帧的视觉注意力特征4b)使用步骤3)训练好的卷积神经网络Z对视觉注意力特征进行提取，得到空域特征矩阵4c)使用步骤3)训练好的卷积神经网络Z对全部视频帧进行特征提取，得到时域特征矩阵5)利用空域特征矩阵对空域分类网络进行训练；6)利用时域特征矩阵对时域分类网络进行训练；7)使用训练后的空域分类网络和时域分类网络对测试视频xtest进行分类：7a)使用步骤5)训练后的空域分类网络计算空域分类网络上测试视频xtest属于不同视频类别的概率：ps＝{ps(1),ps(2),...,ps(m),...ps(M)}，其中ps(m)是空域分类网络上测试视频xtest属于第m类视频的概率，m＝1,2,...,M,M为视频类别数；7b)使用步骤6)训练后的时域分类网络计算时域分类网络上测试视频xtest属于不同视频类别的概率：pt＝{pt(1),pt(2),...,pt(m),...,pt(M)}，其中pt(m)是时域分类网络上测试视频xtest属于第m类视频的概率；7c)根据7a)和7b)的结果，计算测试视频xtest属于第m类视频的概率：p(m)＝wps(m)+(1‑w)pt(m)，其中w是空域分类网络的分类结果所占的权重；7d)将p(m)中最大值所对应的视频类别，作为测试视频xtest的分类结果。