[发明专利]一种红外视频序列行为识别方法及装置

权利要求书

1.一种红外视频序列行为识别方法，其特征在于，包括如下步骤：

获取在指定时间内可见光动作视频数据集的空间动作信息以及光流特征所对应的时间动作信息，同时获取在指定时间内迁移训练获取红外运动视频的空间动作信息以及光流特征所对应的时间动作信息；整合所有的空间动作信息以及时间动作信息，对原始红外动作视频片段进行动作的分类。

2.根据权利要求1所述的红外视频序列行为识别方法，其特征在于，可见光动作视频数据的光流特征所对应的时间动作信息在指定时间内的获取步骤如下：

提取可见光数据集中的单个视频序列前后两帧之间的光流特征来捕获可见光光流帧序列，将可见光光流帧序列划分为短时间连续光流视频帧，作为训练三维卷积神经网络参数的输入端，并测试对应网络对可见光运动视频光流序列的分类效果。

3.根据权利要求1所述的红外视频序列行为识别方法，其特征在于，可见光动作视频数据的空间动作信息在指定时间内的获取步骤包括：

将可见光集中的单个视频序列划分为短时间连续视频帧，作为训练三维卷积神经网络参数的输入端，并测试对应网络对可见光运动视频的分类效果。

4.根据权利要求1所述的红外视频序列行为识别方法，其特征在于，迁移训练获取红外运动视频的光流特征所对应的时间动作信息在指定时间内的获取包括如下步骤：

提取红外数据集中的单个视频序列前后两帧之间的光流特征来捕获可见光光流帧序列，将红外光流帧序列划分为短时间连续光流视频帧作为输入端，且根据可见光网络训练参数进行迁移学习，获取红外三维卷积神经网络参数，最后，使用网络学习到的特征训练svm分类器，测试对红外运动视频光流序列的分类效果。

5.根据权利要求1所述的红外视频序列行为识别方法，其特征在于，迁移训练获取红外运动视频的空间动作信息在指定时间内的获取，包括：

将红外数据集中的单个序列划分为短时间连续视频帧作为输入端，切根据可见光网络训练参数进行迁移学习，获取红外三维卷积神经网络参数，最后，使用网络学习到的特征训练svm分类器，测试对红外运动视频的分类效果。

6.根据权利要求1所述的红外视频序列行为识别方法，其特征在于，对原始红外动作视频片段实现动作的分类步骤包括：

将红外视频作为输入的空间信息网络和时间信息网络所学习到的特征进行融合；通过融合后的特征训练svm分类器，对红外视频进行行为识别。

7.一种红外视频序列行为识别装置，其特征在于，包括红外视频获取模块、基础网络参数训练模块、红外网络参数迁移训练模块和特征提取融合模块；

所述红外视频获取模块，用于获取红外视频运动序列；

所述基础网络参数训练模块，用于依靠可见光数据集训练时间信息网络和空间信息网络的初始参数；

所述网络参数迁移训练模块，用于根据所述基础网络参数训练模块将可见光视频的预训练参数对红外时间信息和空间信息网络参数进行训练；

所述特征提取融合模块，用于对红外时间及空间信息网络所提取的特征进行融合，以此训练svm分类器实现对红外运动序列中行为的分类。

8.根据权利要求7所述的红外视频序列行为识别装置，其特征在于，所述基础网络参数训练模块包括可见光视频数据预处理子模块、时间信息网络参数预训练子模块和空间信息网络参数预训练子模块；

所述可见光视频数据预处理子模块，用于根据三维卷积网络的特征对可见光视频数据进行预处理，且用于对包括视频帧尺寸、连续输入帧数的选取、光流的获得，进而获取适合网络训练的输入数据；

所述时间信息网络参数预训练子模块，用于以可见光视频光流特征做输入，训练的三维卷积神经网络，得到时间信息网络的初始参数；

所述空间信息网络参数预训练子模块，用于以可见光原视频做输入，训练的三维卷积神经网络，得到空间信息网络的初始参数。