[发明专利]一种基于卷积神经网络的人体行为识别方法

权利要求书

1.一种基于卷积神经网络的人体行为识别方法，其特征在于，包括如下步骤：

步骤1：采集不同人体动作的图像，每张所述图像都有一个人体骨架序列；

步骤2：根据人体骨架序列形成人体图像的移动骨架描述符图像；

步骤3：根据人体骨架序列形成所述人体图像的移动关节描述符图像；

步骤4：将步骤2和步骤3中得到的不同人体动作的移动骨架描述符图像和移动关节描述符图像分别作为训练集训练卷积神经网络；

步骤5：将待识别人体动作的图像分别输入步骤4训练好的两个卷积神经网络中，分别得到各个人体动作的分数；

步骤6：将步骤5中得到的两种分数中相同人体动作对应的分数相加，得出得分最高的动作，作为人体行为识别的结果；

所述步骤2中根据人体骨架序列形成移动骨架描述符图像的步骤包括：

步骤21：步骤1得到的人体骨架序列中，给定具体N帧[F₁,F₂,…,F_N]的人体骨架序列s，令(x_i,y_i,z_i)为第n帧{F_n}∈s中的每个人体关节的三维坐标，其中n∈[1,N]；

步骤22：用归一化函数F将s中每个人体关节的三维坐标转化为标准化空间s′中的三维关节坐标(x′_i,y′_i′z′_i)，即F′_i＝(x′_i,y′_i′z′_i)＝F(x_i,y_i,z_i)，其中min{c}和max{c}分别是s中所有坐标的最大值和最小值，即max(x_n,y_n,z_n)和min(x_n,y_n,z_n)，其中n∈[1,N]；

步骤23：将所有标准化空间的坐标堆叠起来，形成时间序列[F′₁,F′₂,…,F′_N]来表示整个动作序列，将这些元素量化为RGB颜色空间，并存储为RGB图像；

步骤24：将人体关节分别五个部分，包括两个手臂、两个腿和一个躯干，按照两个手臂、一个躯干、两个腿的顺序，重新排列RGB图像中的像素行的位置，即重新排列序列[F′₁,F′₂,…,F′_N]中的所有帧，得到移动骨架描述符图像。

2.根据权利要求1所述的一种基于卷积神经网络的人体行为识别方法，其特征在于，所述步骤3中根据人体骨架序列形成移动关节描述符图像的步骤包括：

步骤31：将步骤1得到的人体骨架序列中人体关节的坐标转换成用球坐标表示，人体关节的集合Joints＝{J₁,J₂,…,J_k,…,J₂₀}，其中角度θ表示人体关节与z轴的垂直角度，角度表示人体关节与x轴的水平角度，角度r表示人体关节与原点之间的距离，J₁,J₂,…,J_k,…,J₂₀表示从数据集提供的骨架模型的20个人体关节，J_k表示第k个人体关节；

步骤32：求出三个灰度图像R、G、B，其中R(J_k,n)＝{θ|θ是第n帧中关节J_k的坐标θ}，B(J_k,n)＝{r|r是第n帧中关节J_k的坐标r}；

步骤33：将三个灰度图像组合在一起产生移动关节描述符MJD，MJD＝R+B+G，得到移动关节描述符图像。

3.根据权利要求1所述的一种基于卷积神经网络的人体行为识别方法，其特征在于，步骤4中，所述卷积神经网络的第一卷积层使用32个7×7大小的卷积滤波器，第二、第三、第四卷积层分别使用64、128、256个5×5的卷积滤波器，最后一个卷积层使用512个3×3的卷积过滤器。

4.根据权利要求1所述的一种基于卷积神经网络的人体行为识别方法，其特征在于，步骤4中，所述卷积神经网络的初试学习率为0.0008，权重衰减为0.0005，动量为0.9，softmax回归层根据基础训练的权重为每个人体动作生成分数。