[发明专利]动作识别方法、动作识别装置和电子设备

说明书

本申请实施例提供一种动作识别方法、动作识别装置和电子设备，该动作识别装置包括：第一检测单元，其基于第一模型，检测图像中的人体；第二检测单元，其基于第二模型，检测所述人体上的关键点；第三检测单元，其根据所述关键点，检测所述人体的关节角度；以及第四检测单元，其根据所述关键点的位置和所述关节角度，检测所述人体的动作，所述装置还包括：推理优化单元，其基于推理优化器对所述第一模型和/或第二模型进行推理优化，其中，推理优化后的所述第一模型和/或推理优化后的所述第二模型被用于检测图像中的人体和/或检测所述人体上的关键点。

技术领域

本申请涉及电子信息技术领域。

背景技术

人体的动作识别(action recognition)具有广泛的应用前景，例如，人体的动作识别可以被应用于消费者行为分析、健康看护、智能工厂等场景中。

现有技术中，常见的动作识别方法包括：基于摄像机拍摄到的图像帧来进行人体的动作识别，例如，使用基于深度学习网络的分类器对图像帧进行分类，从而对图像帧中的人体的动作进行识别；或者，从摄像机拍摄到的图像帧中提取人体的关键点，根据关键点来识别人体的动作。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请的发明人发现，可以根据图像帧中人体上的关键点的位置以及关节的角度来识别人体的动作，该动作识别方法不仅计算量小，而且准确性较高。在根据人体上的关键点的位置以及关节的角度来识别人体动作的方法中，可以使用深度学习神经网络(Deeplearning Neural Network，DNN)来检测人体以及人体上的关键点，以获得更高的准确度和鲁棒性。发明人进一步发现，上述方法存在能耗较高且内存占用量大的局限性，因而难以被应用到嵌入式平台上。

本申请实施例提供一种动作识别方法、动作识别装置以及电子设备，该动作识别装置使用经过推理优化器优化后的模型来检测图像帧中人体上的关键点的位置以及关节的角度，不仅能够提高动作识别的准确性，而且，能够减低能耗和内存占用量，提高了速度，因而能够被应用于嵌入式平台，适用于移动终端。

根据本申请实施例的第一方面，提供一种动作识别装置，包括：第一检测单元，其基于第一模型，检测图像中的人体；

第二检测单元，其基于第二模型，检测所述人体上的关键点；

第三检测单元，其根据所述关键点，检测所述人体的关节角度；以及

第四检测单元，其根据所述关键点的位置和所述关节角度，检测所述人体的动作，

所述装置还包括：

推理优化单元，其基于推理优化器对所述第一模型和/或第二模型进行推理优化，

其中，推理优化后的所述第一模型和/或推理优化后的所述第二模型被用于检测图像中的人体和/或检测所述人体上的关键点。

根据本实施例的第二方面，提供一种动作识别方法，包括：

基于第一模型，检测图像中的人体；

基于第二模型，检测所述人体上的关键点；

根据所述关键点，检测所述人体的关节角度；以及

根据所述关键点的位置和所述关节角度，检测所述人体的动作，

其中，所述方法还包括：

基于推理优化器对所述第一模型和/或第二模型进行推理优化，

推理优化后的所述第一模型和/或推理优化后的所述第二模型被用于检测图像中的人体和/或检测所述人体上的关键点。