[发明专利]基于关系引导视频时空特征的人体行为识别方法及系统

说明书

本发明公开了基于关系引导视频时空特征的人体行为识别方法及系统，获取待识别的视频；将待识别的视频按照设定帧数划分为若干个视频片段；对每个视频片段的每一帧图像分别进行特征图提取，得到每一帧图像的特征图；对每一帧图像的特征图划分多个不同的区域，对各区域之间进行空间关系提取，得到每一帧图像的基于关系引导的空间特征向量；将所有帧图像的基于关系引导的空间特征向量进行时间关系提取，得到每一帧图像的基于关系引导的时间特征向量；对每一帧图像的基于关系引导的时间特征向量进行求平均运算，得到该视频片段的时空特征向量；基于每个视频片段的所有帧图像的时空特征向量，采用训练后的行为识别模型中，得到人体行为识别结果。

技术领域

本申请涉及人体行为识别技术领域，特别是涉及基于关系引导视频时空特征的人体行为识别方法及系统。

背景技术

本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。

基于视频的行为识别由于其在视频监控中的重要应用，近年来受到了极大的关注。对于视频而言，时间维度上的信息是至关重要的一部分，并且基于视频的行为识别具有更丰富的背景信息，这增加了信息区域和跨帧融合的时间信息的重要性。

目前，深度学习领域的相关知识已经被广泛的应用的视频行为识别中，将一段视频帧输入到定义好的行为识别模型中就可以输出该视频中的包含的行为类型。目前比较好的视频行为识别方法大多数在多纤维网络基础上在浅层使用2D卷积，深层用3D卷积，这样减少了训练的时候的复杂的时空融合以及3D卷积所带来的巨额的内存的消耗，并且不会降低视频行为识别的准确率。

然而，发明人发现在现有的方法中，大多数的方法没有考虑到视频背景给行为识别带来的影响，生成了许多不必要的噪声信息，其次在时间维度的特征融合还有待提高。

发明内容

为了解决现有技术的不足，本申请提供了基于关系引导视频时空特征的人体行为识别方法及系统；能够对视频行为进行高效和准确的识别。

第一方面，本申请提供了基于关系引导视频时空特征的人体行为识别方法；

基于关系引导视频时空特征的人体行为识别方法，包括：

获取待识别的视频；将待识别的视频按照设定帧数划分为若干个视频片段；

对每个视频片段的每一帧图像分别进行特征图提取，得到每一帧图像的特征图；

对每一帧图像的特征图划分多个不同的区域，对各区域之间进行空间关系提取，得到每一帧图像的基于关系引导的空间特征向量；

将所有帧图像的基于关系引导的空间特征向量进行时间关系提取，得到每一帧图像的基于关系引导的时间特征向量；

对每一帧图像的基于关系引导的时间特征向量进行求平均运算，得到该视频片段的时空特征向量；

基于每个视频片段的所有帧图像的时空特征向量，采用训练后的行为识别模型中，得到人体行为识别结果。

第二方面，本申请提供了基于关系引导视频时空特征的人体行为识别系统；

基于关系引导视频时空特征的人体行为识别系统，包括：

划分模块，其被配置为：获取待识别的视频；将待识别的视频按照设定帧数划分为若干个视频片段；

特征图提取模块，其被配置为：对每个视频片段的每一帧图像分别进行特征图提取，得到每一帧图像的特征图；

空间特征向量提取模块，其被配置为：对每一帧图像的特征图划分多个不同的区域，对各区域之间进行空间关系提取，得到每一帧图像的基于关系引导的空间特征向量；

时间特征向量提取模块，其被配置为：将所有帧图像的基于关系引导的空间特征向量进行时间关系提取，得到每一帧图像的基于关系引导的时间特征向量；