[发明专利]动作识别方法、动作识别装置和电子设备

权利要求书

1.一种动作识别装置，其特征在于，所述装置包括：

第一检测单元，其基于第一模型，检测图像中的人体；

第二检测单元，其基于第二模型，检测所述人体上的关键点；

第三检测单元，其根据所述关键点，检测所述人体的关节角度；以及

第四检测单元，其根据所述关键点的位置和所述关节角度，检测所述人体的动作，

所述装置还包括：

推理优化单元，其基于推理优化器对所述第一模型和/或第二模型进行推理优化，

其中，推理优化后的所述第一模型和/或推理优化后的所述第二模型被用于检测图像中的人体和/或检测所述人体上的关键点。

2.如权利要求1所述的动作识别装置，其中，所述推理优化单元包括：

转化单元，其将所述第一模型和/或所述第二模型转化为开放神经网络交换模型；以及

优化单元，其使用推理优化器对所述开放神经网络交换模型进行推理优化，得到优化后的网络模型，以作为推理优化后的所述第一模型和/或推理优化后的所述第二模型，

其中，

所述第一检测单元和/或所述第二检测单元使用所述优化后的网络模型和推理优化器库对输入的数据进行推理，从而检测出图像中的人体和/或检测出所述人体上的关键点。

3.如权利要求1所述的动作识别装置，其中，

所述第一模型的主干网络为移动端神经网络模型。

4.如权利要求3所述的动作识别装置，其中，

所述移动端神经网络输出2个尺度的数据到所述第一模型的嫁接网络。

5.如权利要求1所述的动作识别装置，其中，

所述第二模型是改进的级联金字塔网络模型，其中，在所述改进的级联金字塔网络模型中，全局网络的主干网络为效率网网络。

6.一种电子设备，其特征在于，所述电子设备包括权利要求1～5中任一项所述的动作识别装置。

7.一种动作识别方法，其特征在于，所述方法包括：

基于第一模型，检测图像中的人体；

基于第二模型，检测所述人体上的关键点；

根据所述关键点，检测所述人体的关节角度；以及

根据所述关键点的位置和所述关节角度，检测所述人体的动作，

其中，所述方法还包括：

基于推理优化器对所述第一模型和/或第二模型进行推理优化，

推理优化后的所述第一模型和/或推理优化后的所述第二模型被用于检测图像中的人体和/或检测所述人体上的关键点。

8.如权利要求7所述的动作识别方法，其中，基于推理优化器对所述第一模型和/或第二模型进行推理优化，包括：

将所述第一模型和/或所述第二模型转化为开放神经网络交换模型；以及

使用推理优化器对所述开放神经网络交换模型进行推理优化，得到优化后的网络模型，以作为推理优化后的所述第一模型和/或推理优化后的所述第二模型，

其中，

在检测图像中的人体和/或检测所述人体上的关键点的步骤中，使用所述优化后的网络模型和推理优化器库对输入的数据进行推理，从而检测出图像中的人体和/或检测出所述人体上的关键点。

9.如权利要求7所述的动作识别方法，其中，

所述第一模型的主干网络为移动端神经网络模型。

10.如权利要求7所述的动作识别方法，其中，

所述第二模型是改进的级联金字塔网络模型，其中，在所述改进的级联金字塔网络模型中，全局网络的主干网络为效率网网络。