[发明专利]一种设备控制方法、装置、存储介质及设备

说明书

本发明提供一种设备控制方法、装置、存储介质及设备，所述方法包括：当接收到用户的语音命令时，识别所述语音命令的声源方向，以确定所述用户所在的方向；驱动所述设备的摄像头转向所述用户所在的方向，并采集所述用户的动态手势的连续N帧手势图像；对采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义，从而根据所述手势含义控制所述设备。本发明提供的方案能够扩大摄像头的视场。

技术领域

本发明涉及控制领域，尤其涉及一种设备控制方法、装置、存储介质及设备。

背景技术

目前，空调上摄像头的视场有一定的范围，导致进行手势控制时用户需要处于摄像头的视场范围内，否则摄像头无法采集到用户的手势动作。另一方面，现有的手势识别一般都是采集静态手势再分类出各个手势表达的意思，用户体验不好。

发明内容

本发明的主要目的在于克服上述现有技术的缺陷，提供一种设备控制方法、装置、存储介质及设备，以解决现有技术中摄像头的视场有一定的范围，进行手势控制时用户需要处于摄像头视场范围内的问题。

本发明一方面提供了一种设备控制方法，包括：当接收到用户的语音命令时，识别所述语音命令的声源方向，以确定所述用户所在的方向；驱动所述设备的摄像头转向所述用户所在的方向，并采集所述用户的动态手势的连续N帧手势图像；对采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义，从而根据所述手势含义控制所述设备。

可选地，对采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义，包括：在所述连续N帧手势图像的每帧手势图像中识别出所述动态手势的手势区域，并基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像；对所述每帧手势图像的手势区域图像进行双向通道卷积处理，以得到所述连续N帧手势图像的手势区域图像的连续N帧特征图；利用3D卷积神经网络模型对所述连续N帧特征图进行卷积处理得到所述手势区域的运动特征信息；利用预设的循环神经网络模型和所述手势区域的运动特征信息对所述连续N帧特征图进行识别，得到所述动态手势的手势含义。

可选地，基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像，包括：对所述每帧手势图像中除所述手势区域之外的其他图像区域进行虚化处理或去除处理，以得到所述每帧手势图像的手势区域图像。

可选地，对所述每帧手势图像的手势区域图像进行双向通道卷积处理，以得到所述连续N帧手势图像的手势区域图像的连续N帧特征图，包括：对所述每帧手势图像的手势区域图像的彩色图像和深度图像分别进行卷积处理，得到彩色特征图和深度特征图；将所述彩色特征图和深度特征图进行合并，得到所述每帧手势图像的手势区域图像的特征图。

可选地，所述设备，包括：空调，所述方法，还包括：在确定所述用户所在的方向之后，根据所述用户所在的方向控制所述空调的出风方向。

本发明另一方面提供了一种设备控制装置，包括：语音识别单元，用于当接收到用户的语音命令时，识别所述语音命令的声源方向，以确定所述用户所在的方向；驱动单元，用于驱动所述设备的摄像头转向所述用户所在的方向；图像采集单元，用于采集所述用户的动态手势的连续N帧手势图像；图像识别单元，用于对所述图像采集单元采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义；控制单元，用于根据所述图像识别单元识别出的所述手势含义控制所述设备。