[发明专利]手部动作识别方法、装置、计算机设备及可读存储介质

权利要求书

1.一种手部动作识别方法，包括如下步骤：

通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息，其中，所述初始人体模型包括初始关键点模型和初始连接模型；将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息；所述初始人体模型、所述初始关键点模型以及所述初始连接模型均是神经网络模型；

从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；

将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练图像以及与所述训练图像对应的手部动作；

提取所述训练图像的训练手部特征；

将所述训练手部特征和对应的所述手部动作输入基础模型中进行训练得到预设手部动作模型。

3.根据权利要求2所述的方法，其特征在于，所述训练图像包含若干张二维图像，所述若干张二维图像组成二维图像组；

所述提取所述训练图像的训练手部特征的步骤包括：

提取所述二维图像组中的初始训练图像的第一手部特征；

当在所述初始训练图像的第一手部特征不完整时，则继续获取所述二维图像组中的初始训练图像的下一训练图像作为当前训练图像，并提取所述当前训练图像的补充手部特征；通过所述补充手部特征和所述第一手部特征得到第二手部特征；

当所述第二手部特征不完整时，则继续获取所述二维图像组中的下一训练图像作为当前训练图像；直至所得到的所述第二手部特征为完整手部特征时，则将所述第二手部特征作为训练手部特征。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过传感器获取待识别对象的第二手部动作；

比较所述第一手部动作和所述第二手部动作；

若所述第一手部动作和所述第二手部动作不同时，则根据所述第二手部动作纠正所述第一手部动作。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当无法通过初始人体模型获取所述待识别对象的人体姿态信息时，生成与所述待识别对象对应的提醒信息；

输出所述待识别对象的图像和所述提醒信息。

6.一种手部动作识别装置，其特征在于，包括：

姿态分析模块，用于通过图像采集装置采集待识别对象的图像，将所述待识别对象的图像输入初始人体模型得到所述待识别对象的姿态信息，其中，所述初始人体模型包括初始关键点模型和初始连接模型；将所述待识别对象的图像输入所述初始关键点模型得到所述待识别对象的关键点信息；将所述待识别对象的图像输入所述初始连接模型得到所述待识别对象的关节连接信息；根据所述关键点信息和所述关节连接信息生成所述待识别对象的姿态信息；并且，所述初始人体模型、所述初始关键点模型以及所述初始连接模型均是神经网络模型；

手部定位模块，用于从所述姿态信息中选取手腕关节的位置信息，并根据所述手腕关节的位置信息获取手部区域图像；

动作识别模块，用于将所述手部区域图像输入预设手部动作模型得到所述待识别对象的第一手部动作。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

样本获取模块，用于获取训练图像以及与所述训练图像对应的手部动作；

特征提取模块，用于提取所述训练图像的训练手部特征；

训练模块，用于将所述训练手部特征和对应的所述手部动作输入基础模型中进行训练得到预设手部动作模型。