[发明专利]一种设备控制方法、装置、存储介质及设备

权利要求书

1.一种设备控制方法，其特征在于，包括：

当接收到用户的语音命令时，识别所述语音命令的声源方向，以确定所述用户所在的方向；

驱动所述设备的摄像头转向所述用户所在的方向，并采集所述用户的动态手势的连续N帧手势图像；

对采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义，从而根据所述手势含义控制所述设备。

2.根据权利要求1所述的方法，其特征在于，对采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义，包括：

在所述连续N帧手势图像的每帧手势图像中识别出所述动态手势的手势区域，并基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像；

对所述每帧手势图像的手势区域图像进行双向通道卷积处理，以得到所述连续N帧手势图像的手势区域图像的连续N帧特征图；

利用3D卷积神经网络模型对所述连续N帧特征图进行卷积处理得到所述手势区域的运动特征信息；

利用预设的循环神经网络模型和所述手势区域的运动特征信息对所述连续N帧特征图进行识别，得到所述动态手势的手势含义。

3.根据权利要求2所述的方法，其特征在于，基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像，包括：

对所述每帧手势图像中除所述手势区域之外的其他图像区域进行虚化处理或去除处理，以得到所述每帧手势图像的手势区域图像。

4.根据权利要求2或3所述的方法，其特征在于，对所述每帧手势图像的手势区域图像进行双向通道卷积处理，以得到所述连续N帧手势图像的手势区域图像的连续N帧特征图，包括：

对所述每帧手势图像的手势区域图像的彩色图像和深度图像分别进行卷积处理，得到彩色特征图和深度特征图；

将所述彩色特征图和深度特征图进行合并，得到所述每帧手势图像的手势区域图像的特征图。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述设备，包括：空调，所述方法，还包括：

在确定所述用户所在的方向之后，根据所述用户所在的方向控制所述空调的出风方向。

6.一种设备控制装置，其特征在于，包括：

语音识别单元，用于当接收到用户的语音命令时，识别所述语音命令的声源方向，以确定所述用户所在的方向；

驱动单元，用于驱动所述设备的摄像头转向所述用户所在的方向；

图像采集单元，用于采集所述用户的动态手势的连续N帧手势图像；

图像识别单元，用于对所述图像采集单元采集的所述连续N帧手势图像进行手势识别，以识别出所述动态手势的手势含义；

控制单元，用于根据所述图像识别单元识别出的所述手势含义控制所述设备。

7.根据权利要求6所述的装置，其特征在于，图像识别单元，包括：

手势区域识别单元，用于在所述连续N帧手势图像的每帧手势图像中识别出所述动态手势的手势区域，并基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像；

双向通道处理单元，用于对所述每帧手势图像的手势区域图像进行双向通道卷积处理，以得到所述连续N帧手势图像的手势区域图像的连续N帧特征图；

3D卷积处理单元，用于利用3D卷积神经网络模型对所述连续N帧特征图进行卷积处理得到所述手势区域的运动特征信息；

手势含义识别单元，用于利用预设的循环神经网络模型和所述手势区域的运动特征信息对所述连续N帧特征图进行识别，得到所述动态手势的手势含义。

8.根据权利要求7所述的装置，其特征在于，手势区域识别单元，基于所述手势区域进行预设处理得到每帧手势图像的手势区域图像，包括：

对所述每帧手势图像中除所述手势区域之外的其他图像区域进行虚化处理或去除处理，以得到所述每帧手势图像的手势区域图像。