[发明专利]一种红外视频序列行为识别方法及装置

说明书

本发明实施例公开了图像处理技术领域中的一种红外视频序列行为识别方法及装置。本发明的红外视频序列行为识别方法，包括如下步骤：获取在指定时间内可见光动作视频数据集的空间动作信息以及光流特征所对应的时间动作信息，同时获取在指定时间内迁移训练获取红外运动视频的空间动作信息以及光流特征所对应的时间动作信息；整合所有的空间动作信息以及时间动作信息，对原始红外动作视频片段进行动作的分类。本发明能在红外条件下对视频序列行为进行识别，可以得到较好的红外视频序列行为分类效果。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种红外视频序 列行为识别方法及装置。

背景技术

人体行为识别在科技、生活中有着广泛的应用，如视频监控、人 机交互、虚拟现实和视频检索等，因此特别是现今视频数据呈指数增 长，智能的人体识别技术具有很高的研究价值和应用前景。

红外视频序列有着特殊的应用环境和场景，适用于低照度比如傍 晚、夜间、阴天等光线不足的情况之下。红外视频由于设备的限制， 成像原理的不同，针对红外视频的行为识别研究的还不够充分。

发明内容

本发明实施例提供一种红外视频序列行为识别方法及装置，以解 决上述技术背景中提及的技术问题。

本发明实施例提供红一种外视频序列行为识别方法。在一种可行 的方案中，包括如下步骤：

获取在指定时间内可见光动作视频数据集的空间动作信息以及 光流特征所对应的时间动作信息，同时获取在指定时间内迁移训练获 取红外运动视频的空间动作信息以及光流特征所对应的时间动作信 息；整合所有的空间动作信息以及时间动作信息，对原始红外动作视 频片段进行动作的分类。

本发明实施例还提供一种外视频序列行为识别方法。在一种可行 的方案中，可见光动作视频数据的光流特征所对应的时间动作信息在 指定时间内的获取步骤如下：

提取可见光数据集中的单个视频序列前后两帧之间的光流特征 来捕获可见光光流帧序列，将可见光光流帧序列划分为短时间连续光 流视频帧，作为训练三维卷积神经网络参数的输入端，并测试对应网 络对可见光运动视频光流序列的分类效果。

本发明实施例还提供一种外视频序列行为识别方法。在一种可行 的方案中，可见光动作视频数据的空间动作信息在指定时间内的获取 步骤包括：

将可见光集中的单个视频序列划分为短时间连续视频帧，作为训 练三维卷积神经网络参数的输入端，并测试对应网络对可见光运动视 频的分类效果。

本发明实施例还提供一种外视频序列行为识别方法。在一种可行 的方案中，迁移训练获取红外运动视频的光流特征所对应的时间动作 信息在指定时间内的获取包括如下步骤：

提取红外数据集中的单个视频序列前后两帧之间的光流特征来 捕获可见光光流帧序列，将红外光流帧序列划分为短时间连续光流视 频帧作为输入端，且根据可见光网络训练参数进行迁移学习，获取红 外三维卷积神经网络参数，最后，使用网络学习到的特征训练svm分 类器，测试对红外运动视频光流序列的分类效果。

本发明实施例还提供一种外视频序列行为识别方法。在一种可行 的方案中，迁移训练获取红外运动视频的空间动作信息在指定时间内 的获取，包括：

将红外数据集中的单个序列划分为短时间连续视频帧作为输入 端，切根据可见光网络训练参数进行迁移学习，获取红外三维卷积神 经网络参数，最后，使用网络学习到的特征训练svm分类器，测试对 红外运动视频的分类效果。

本发明实施例还提供一种外视频序列行为识别方法。在一种可行 的方案中，对原始红外动作视频片段实现动作的分类步骤包括：

将红外视频作为输入的空间信息网络和时间信息网络所学习到 的特征进行融合；通过融合后的特征训练svm分类器，对红外视频进 行行为识别。