[发明专利]设备控制方法和装置、电子设备、计算机存储介质

说明书

本发明实施例公开了一种设备控制方法和装置、电子设备、计算机存储介质，其中，方法包括：基于接收到的待处理图像获得待处理图像中的手部图像；利用神经网络对所述手部图像进行处理，获得手部图像中的手部关键点；基于获得的手部关键点确定手部图像包含的手势形状；基于手势形状控制相应设备的操作。本实施例所述方法通过基于概率热图获得手部关键点信息，对于无论是已知手势，还是未知手势都可以进行关键点标注，实现了精确的手势识别，增强了人机交互。

技术领域

本发明涉及计算机视觉技术，尤其是一种设备控制方法和装置、电子设备、计算机存储介质。

背景技术

现有技术中普及的人机交互方式，基本依赖于与机器的接触，如：通过鼠标、键盘、遥控器、触摸屏等实现人机交互。而随着计算机视觉技术的不断发展，通过计算机实现识别、定位等技术已在人们生活中得到普遍应用。手作为人体中最灵活的部位，具有较强的表达能力，能够通过手指的位置变化组合出多种的手势，仅用一只手就可以表达丰富的信息。

发明内容

本发明实施例提供一种设备控制技术。

本发明实施例提供的一种设备控制方法，包括：

基于接收到的待处理图像获得所述待处理图像中的手部图像；

利用神经网络对所述手部图像进行处理，获得所述手部图像中的手部关键点；所述神经网络基于样本手部图像训练获得；

基于所述获得的手部关键点确定所述手部图像包含的手势形状；

基于所述手势形状控制相应设备的操作。

在基于本发明上述方法的另一个实施例中，所述利用神经网络对所述手部图像进行处理，获得所述手部图像中的手部关键点，包括：

利用神经网络对所述手部图像进行处理，通过所述神经网络获得至少一个概率热图；

基于所述概率热图获得手部关键点信息，基于所述手部关键点信息获得手部关键点。

在基于本发明上述方法的另一个实施例中，基于所述概率热图获得关键点信息，基于所述手部关键点信息获得手部关键点，包括：

从所述概率热图中筛选概率值大于预设值的坐标点，得到筛选坐标点；

计算所述筛选坐标点的邻域响应和；

基于所述邻域响应和对所述筛选坐标点进行排序操作，基于排序后的所述筛选坐标点得到手部关键点信息，获得对应所述手部关键点信息的手部关键点；每个所述手部关键点信息对应一个手部关键点；各所述手部关键点之间的间隔大于设定像素值。

在基于本发明上述方法的另一个实施例中，基于所述邻域响应和对所述筛选坐标点进行排序操作，基于排序后的所述筛选坐标点得到手部关键点，包括：

按照所述邻域响应和的大小，将对应所述邻域响应和的筛选坐标点进行排序操作；

按顺序将所述邻域响应和与预设阈值进行比较；

获得预设数量的所述筛选坐标点作为关键点，或获得数量少于预设数量的所述邻域响应和大于预设阈值的所述筛选坐标点作为关键点。

在基于本发明上述方法的另一个实施例中，按顺序将所述邻域响应和与预设阈值进行比较，包括：

按顺序从各所述邻域响应和中提取所述邻域响应和，将所述提取的邻域响应和与预设阈值进行比较；

响应于大于所述预设阈值的所述邻域响应和的数量大于预设数量，和/或响应于所述邻域响应和小于所述预设阈值，停止将所述邻域响应和与所述预设阈值进行比较。

在基于本发明上述方法的另一个实施例中，还包括：