[发明专利]一种基于移位图卷积神经网络骨骼点行为识别系统及其识别方法

说明书

本发明公开了一种基于移位图卷积神经网络骨骼点行为识别系统包括：图像获取模块、图像处理模块、提取模块和行为识别模块，其中图像获取模块用于获取行为图像；图像处理模块用于处理图像获取模块获取的行为图像进行图像处理；提取模块用于提取图像处理模块处理后图像的骨骼点；行为识别模块用于识别提取模块提取骨骼点行为特征的。本发明设计行为识别模块进行对骨骼点行为识别，减小图卷积计算量的新型图卷积，与传统图卷积不同，移位图卷积不是通过扩大卷积核来扩展感受范围，而是通过新型移位操作来使得图特征进行移位拼接，在显著减少计算量提高计算速度的情况下达到同样甚至更高的识别精度，避免传统图卷积的计算量会随着卷积核增大而增大。

技术领域

本发明涉及一种基于移位图卷积神经网络骨骼点行为识别系统，涉及一般的图像数据处理或产生G06T领域，尤其涉及G06T7/20的运动分析领域。

背景技术

在行为识别任务中，受制于数据量以及算法的制约，基于RGB图像的行为识别模型常常会受到视角的变化以及复杂背景的干扰，从而导致泛化性能不足，在实际应用中鲁棒性差。而基于骨骼点数据的行为识别可以较好地解决这个问题。

在骨骼点数据中，人体是由若干预先定义好的关键关节点在相机坐标系中的坐标来表示的。它可以很方便地通过深度摄像头以及各种姿态估计算法获得。

然在这种传统的图卷积方法中，其建模的卷积核只能覆盖一个点的邻域。但骨骼点行为识别任务中，一些行为（例如拍手动作）需要建模物理上相距较远的点（例如两只手）的位置关系。这就需要增加图卷积模型的卷积核大小。但图卷积的计算量又会随着卷积核增大而增大，导致传统图卷积计算量较大。

发明内容

发明目的：提供一种基于移位图卷积神经网络骨骼点行为识别系统，以解决现有技术存在的上述问题。

技术方案：一种基于移位图卷积神经网络骨骼点行为识别系统，包括：

用于获取行为图像的图像获取模块；

用于处理图像获取模块获取的行为图像进行图像处理的图像处理模块；

用于提取图像处理模块处理后图像的骨骼点提取模块；

用于识别提取模块提取骨骼点行为特征的行为识别模块。

在进一步的实施例中，所述图像获取模块基于图像获取装置，所述图像获取装置包括呈等边三角形放置的摄像器，以及设置在所述摄像器尾部的转动装置，所述转动装置包括与所述摄像器固定连接的转动轴，套接所述转动轴的转动电机。

在进一步的实施例中，所述图像获取模块通过三组呈等边三角形放置的摄像器进行摄像人体行为，进而将三组摄像器获取的行为图像进行安装前、后、侧部进行分别呈现在电脑终端上，进而以供图像处理模块进行对比处理图像。

在进一步的实施例中，所述图像处理模块主要进行对图像获取模块获取到的人体行为图像进行处理为人体边缘图；通过Krisch边缘检测算子，在检测图像边缘的时候使用卷积3*3模板，遍历图像中的像素点，逐一考察各个像素点周围邻近区域的像素灰度值，计算其中三个相邻像素灰度的加权与其余五个像素的灰度加权和差值；卷积模板如下：

     1              2              3              4

     5               6              7             8

使用八个卷积模板，依次处理原图像中的所有像素，计算得到其边缘强度，再通过阀值进行检测，提取最后边缘点，完成边缘检测；

Krisch算子检测图像边缘实现步骤如下：

步骤1、获取原图像的数据区指针；