[发明专利]利用手势识别控制操作的家电设备与方法

说明书

本申请公开了一种利用手势识别控制操作的家电设备与方法，该家电设备包括执行单元，用于执行家电设备的操作指令，摄像单元，用于获取包含预定义手势的连续图像序列；手势识别单元，用于识别连续图像序列中包含的预定义手势，存储单元，用于存储预定义的手势以及家电设备的操作指令与手势的对应关系；控制指令转换单元，用于根据家电设备的操作指令与预定义手势的对应关系，将识别结果转换为家电设备的操作指令输出到执行单元执行。通过上述家电设备和操作方法实现了方便快捷地利用手势控制家电设备的操作。

技术领域

本公开一般涉及智能家电技术领域，具体涉及基于神经网络的手势识别控制技术领域，尤其涉及利用手势识别控制操作的家电设备与方法。

背景技术

家电设备上的手势识别检测控制，可极大方便用户与家电设备进行便捷的交互与控制，在家具家电上创造出创新的用户体验。

在一些游戏机和智能家电的交互控制中，出现了采用利用深度摄像头如kinect或双目摄像头系统，获得人手的深度或立体信息从而进行手势识别检测控制的技术方案，但这类方案由于需要深度摄像头或多摄像头方案，硬件成本高且需要耗费相当大的计算资源。使用单目摄像头进行手势识别检测的技术方案中，通常基于肤色形状轮廓特征，采用SVM或决策树等分类方法检测跟踪手势，无法实现准确的手势识别检测。另外，在提取复杂的图像特征时，由于计算量大，导致无法实现在家电设备上的便捷人机交互。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种快速准确地进行手势识别控制的家电设备与方法。

根据本发明的第一方面，提供一种利用手势识别控制操作的家电设备，其包括执行单元，用于执行所述家电设备的操作指令，所述家电设备还包括：

摄像单元，用于获取包含预定义手势的连续图像序列，并将连续图像序列输出至手势识别单元；

手势识别单元，用于识别连续图像序列中包含的预定义手势，将识别结果输出至控制指令转换单元，

存储单元，用于存储预定义的手势以及所述家电设备的操作指令与手势的对应关系；

控制指令转换单元，用于根据存储单元中存储的所述家电设备的操作指令与手势的对应关系，将所述识别结果转换为所述家电设备的操作指令，输出至执行单元；

其中所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。

其中，所述手势识别单元包括手势粗略识别单元和手势精确识别单元，所述手势粗略识别单元用于：

基于所述连续图像序列中的单帧图像的低分辨率采样，在卷积神经网络模型中，进行“手”或“非手”的二分类，获得在所述低分辨率采样上的手出现位置的手势位置概率图，并将手势概率出现最高峰的位置范围确定为“手”出现的大致位置；

在确定的“手”出现的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，运行基于卷积神经网络模型的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据；

所述手势精确识别单元用于:

基于所述手势粗略识别单元识别的初步判定结果，再运行递归神经网络分类模型，基于手势识别检测的时间序列，获得预定义手势事件是否发生的精确判断结果。

可选地，所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

优选地，所述预定义手势事件包括手掌悬停、手掌变握拳、手掌上下左右移动中的一个或多个。

可选地，响应于识别出的预定义手势事件，所述执行单元执行与所述预定义手势事件相对应的操作指令。