[发明专利]设备控制方法和装置、电子设备、计算机存储介质

权利要求书

1.一种设备控制方法，其特征在于，包括：

基于接收到的待处理图像获得所述待处理图像中的手部图像；

利用神经网络对所述手部图像进行处理，获得所述手部图像中的手部关键点；所述神经网络基于样本手部图像训练获得；

基于所述获得的手部关键点确定所述手部图像包含的手势形状；

基于所述手势形状控制相应设备的操作；

所述利用神经网络对所述手部图像进行处理，获得所述手部图像中的手部关键点，包括：

利用神经网络对所述手部图像进行处理，通过所述神经网络获得至少一个概率热图；

基于所述概率热图获得手部关键点信息，基于所述手部关键点信息获得手部关键点；

基于所述概率热图获得关键点信息，基于所述手部关键点信息获得手部关键点，包括：

从所述概率热图中筛选概率值大于预设值的坐标点，得到筛选坐标点；

计算所述筛选坐标点的邻域响应和；

基于所述邻域响应和对所述筛选坐标点进行排序操作，基于排序后的所述筛选坐标点得到手部关键点信息，获得对应所述手部关键点信息的手部关键点；每个所述手部关键点信息对应一个手部关键点；各所述手部关键点之间的间隔大于设定像素值。

2.根据权利要求1所述的方法，其特征在于，基于所述邻域响应和对所述筛选坐标点进行排序操作，基于排序后的所述筛选坐标点得到手部关键点，包括：

按照所述邻域响应和的大小，将对应所述邻域响应和的筛选坐标点进行排序操作；

按顺序将所述邻域响应和与预设阈值进行比较；

获得预设数量的所述筛选坐标点作为关键点，或获得数量少于预设数量的所述邻域响应和大于预设阈值的所述筛选坐标点作为关键点。

3.根据权利要求2所述的方法，其特征在于，按顺序将所述邻域响应和与预设阈值进行比较，包括：

按顺序从各所述邻域响应和中提取所述邻域响应和，将所述提取的邻域响应和与预设阈值进行比较；

响应于大于所述预设阈值的所述邻域响应和的数量大于预设数量，和/或响应于所述邻域响应和小于所述预设阈值，停止将所述邻域响应和与所述预设阈值进行比较。

4.根据权利要求1-3任一所述的方法，其特征在于，还包括：

响应于两个手部关键点之间的距离小于预设距离值时，合并所述两个手部关键点得到一个手部关键点。

5.根据权利要求1所述的方法，其特征在于，所述手部关键点信息包括指尖关键点信息和指根关键点信息；

所述基于所述概率热图获得手部关键点信息，包括：

基于所述概率热图获得至少一个指尖关键点信息和至少一个指根关键点信息；所述指尖关键点信息对应指尖关键点，所述指根关键点信息对应指根关键点。

6.根据权利要求5所述的方法，其特征在于，基于所述获得的手部关键点还可以确定所述概率热图中的手部区域；

基于所述获得的手部关键点确定所述手部图像包含的手势形状，包括：

基于所述获得的至少一个指尖关键点信息和至少一个指根关键点信息；

将各所述指尖关键点与各所述指根关键点建立连线，得到至少一个连线；

基于所述连线获得所述连线两侧设定距离内的区域，判断所述连线两侧设定距离内的区域与所述概率热图中的手部区域的重叠面积是否大于所述连线两侧设定距离内的区域的预设比例；

响应于所述连线两侧设定距离内的区域与所述手部区域的重叠面积大于或等于所述连线两侧设定距离内的区域的预设比例，确定所述区域为手指图像；

响应于所述连线两侧设定距离内的区域与所述手部区域的重叠面积小于所述连线两侧设定距离内的区域的预设比例，删除所述区域对应的连线。

7.根据权利要求1所述的方法，其特征在于，基于所述手势形状控制相应设备的操作，包括：

将所述手势形状与预设手势图像匹配，基于匹配获得的所述预设手势图像控制相应设备的操作；每个所述预设手势图像对应设备的一个操作。