[发明专利]人体动作识别及其神经网络生成方法、装置和电子设备

权利要求书

1.一种用于人体动作识别的神经网络生成方法，其特征在于，包括：

对目标图像进行检测，得到人体目标点检测结果；

对所述目标图像进行识别，得到初步动作识别结果；

根据所述人体目标点检测结果得到第一特征向量组；

根据所述动作识别结果得到第二特征向量组；

将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组；

通过所述第三特征向量组对所述目标图像进行调整，得到素材图像；

利用所述素材图像对初始神经网络进行训练，生成动作识别神经网络。

2.根据权利要求1所述的用于人体动作识别的神经网络生成方法，其特征在于，所述对目标图像进行检测，得到人体目标点检测结果，包括：

通过人体姿态估计算法对目标图像进行检测，得到人体目标点检测结果；

其中，所述人体目标点检测结果包括：人体关节部位点的位置信息和/或角度信息，和/或，肢体关键部位点的位置信息和/或角度信息。

3.根据权利要求1所述的用于人体动作识别的神经网络生成方法，其特征在于，所述将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组，包括：

通过每个元素对应相乘法或每个元素对应相加法将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组。

4.根据权利要求1所述的用于人体动作识别的神经网络生成方法，其特征在于，所述将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组，包括：

通过数组连接法将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组。

5.一种人体动作识别方法，其特征在于，包括：

对目标图像进行检测，得到人体目标点检测结果；

对所述目标图像进行识别，得到初步动作识别结果；

根据所述人体目标点检测结果得到第一特征向量组；

根据所述动作识别结果得到第二特征向量组；

将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组；

通过所述第三特征向量组对所述目标图像进行调整，得到素材图像；

利用所述素材图像对初始神经网络进行训练，生成动作识别神经网络；

通过所述动作识别神经网络对所述目标图像进行识别，得到最终动作识别结果。

6.一种用于人体动作识别的神经网络生成装置，其特征在于，包括：

检测模块，用于对目标图像进行检测，得到人体目标点检测结果；

识别模块，用于对所述目标图像进行识别，得到初步动作识别结果；

融合模块，用于根据所述人体目标点检测结果得到第一特征向量组；根据所述动作识别结果得到第二特征向量组；将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组；

生成模块，用于通过所述第三特征向量组对所述目标图像进行调整，得到素材图像；利用所述素材图像对初始神经网络进行训练，生成动作识别神经网络。

7.一种人体动作识别装置，其特征在于，包括：

检测模块，用于对目标图像进行检测，得到人体目标点检测结果；

第一识别模块，用于对所述目标图像进行识别，得到初步动作识别结果；

融合模块，用于根据所述人体目标点检测结果得到第一特征向量组；根据所述动作识别结果得到第二特征向量组；将所述第一特征向量组与所述第二特征向量组进行特征融合，得到第三特征向量组；

生成模块，用于通过所述第三特征向量组对所述目标图像进行调整，得到素材图像；利用所述素材图像对初始神经网络进行训练，生成动作识别神经网络；

第二识别模块，用于通过所述动作识别神经网络对所述目标图像进行识别，得到最终动作识别结果。

8.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至5任一项所述的方法的步骤。

9.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至5任一所述方法。