[发明专利]多特征融合的动态场景分类方法与装置

权利要求书

1.一种多特征融合的动态场景分类方法，其特征在于，包括：

获取待分类视频；

采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；

对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；

根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果；

所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征，包括：

获取所述第一特征信息中第一预设维度对应的第一特征数据，获取所述第二特征信息中第二预设维度对应的第二特征数据，获取所述第三特征信息中第三预设维度对应的第三特征数据；

根据所述第一特征数据、所述第二特征数据、所述第三特征数据获取所述融合特征。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征之前，还包括：

获取训练视频库中所有训练视频各自的第一特征信息、第二特征信息和第三特征信息；

根据所述所有训练视频各自的第一特征信息、第二特征信息和第三特征信息，获取第一特征信息、第二特征信息和第三特征信息的所有维度的费舍尔判别比；

根据所述第一特征信息中的所有维度的费舍尔判别比确定所述第一特征信息的第一预设维度，根据所述第二特征信息中的所有维度的费舍尔判别比确定所述第二特征信息的第二预设维度，根据 所述第三特征信息中的所有维度的费舍尔判别比确定所述第三特征信息的第三预设维度；

其中，所述训练视频库包括至少两个属于不同类别的训练视频。

3.根据权利要求2所述的方法，其特征在于，任一特征信息中的第i个维度的费舍尔判别比的获取公式如下所示：

k＝S_b/S_i；

其中，S_i为第i个维度的类内离散度，S_b为第i个维度的类间离散度，J为所述所有训练视频所属的类别总数，x_ij为第j个类别的所有训练视频的第i个维度的特征数据矩阵，m_ij为第j个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵，m_ih为第h个类别的所有训练视频的第i个维度的特征数据矩阵的平均值矩阵，i的取值范围为1到I的正整数，I为所述第i个维度所属的特征信息的维度总数，j的取值范围为1到J的正整数，h的取值范围为是除j外的1到J的正整数。

4.根据权利要求1所述的方法，其特征在于，所述采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息，包括：

将所述待分类视频进行划分，得到至少一个包含N帧图像的视频片段；

采用三维卷积神经网络特征提取器对所有所述视频片段进行特征提取，获取所述第一特征信息；

其中，N为大于1的正整数。

5.根据权利要求1所述的方法，其特征在于，所述采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息，包括：

获取所述待分类视频的稠密轨迹特征和单应性矩阵；

采用所述单应性矩阵对所述稠密轨迹特征进行矫正，获取所述第二特征信息。

6.根据权利要求1所述的方法，其特征在于，所述采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息，包括：

在所述待分类视频中提取至少一帧关键帧，采用视觉几何神经网络特征提取器对所述至少一帧关键帧进行特征提取，获取所述第三特征信息。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果，包括：

根据所述融合特征，采用支持向量机分类器对所述待分类视频进行分类，得到所述待分类视频的分类结果。

8.一种多特征融合的动态场景分类装置，其特征在于，包括：

待分类视频获取模块，用于获取待分类视频；

特征提取模块，用于采用三维卷积神经网络特征提取器对所述待分类视频进行特征提取，获取第一特征信息；采用改进的稠密轨迹特征提取器对所述待分类视频进行特征提取，获取第二特征信息；采用视觉几何神经网络特征提取器对所述待分类视频进行特征提取，获取第三特征信息；

融合模块，用于对所述第一特征信息、所述第二特征信息和所述第三特征信息进行融合，获取融合特征；

分类模块，用于根据所述融合特征对所述待分类视频进行分类，得到所述待分类视频的分类结果；

所述融合模块具体用于：

获取所述第一特征信息中第一预设维度对应的第一特征数据，获取所述第二特征信息中第二预设维度对应的第二特征数据，获取所述第三特征信息中第三预设维度对应的第三特征数据；

根据所述第一特征数据、所述第二特征数据、所述第三特征数据获取所述融合特征。