[发明专利]手语控制方法、装置及系统

说明书

本发明涉及了一种手语控制方法、装置及系统，所述手语控制方法应用于用户设备，包括：获取图像数据，所述图像数据是对用户执行的手语动作进行拍摄生成的；对所述图像数据中的手语动作进行动作识别，得到所述手语动作对应的文本信息；对所述手语动作对应的文本信息进行交互意图解析，生成用于指示用户交互意图的交互指令；通过所述交互指令控制目标设备执行相应动作。采用本发明所提供的手语控制方法、装置及系统解决了现有技术中手势控制的交互能力有限的问题。

技术领域

本发明涉及设备控制技术领域，尤其涉及一种手语控制方法、装置及系统。

背景技术

随着物联网技术的发展，越来越多的智能设备进入人们的视野，例如，智能空调、智能门锁、窗帘电机等等。

智能设备预先部署在网关中，并通过与网关之间的交互，使得用户可以借助用户设备(例如智能手机)，来远程监控并控制家中智能设备的工作状况。对于智能设备的控制，往往需要在用户设备中启动相应的客户端，并通过用户在客户端输入一系列操作，方可实现，然而，过于繁琐的操作并不利于提高智能设备控制的实用性。

为此，手势控制智能设备的方案应运而生，此方案中，仅需要对用户的手势加以识别，即可实现对智能设备的控制，例如，简单的手势可控制智能设备执行开、关、升、降等动作，避免用户基于客户端所输入的一系列操作，有效地提高了智能设备控制的实用性。

随着智能设备广泛且大规模的应用，受限于手势控制有限的交互能力，如何实现更为复杂的交互和精细的控制仍亟待解决。

发明内容

为了解决上述技术问题，本发明的一个目的在于提供一种手语控制方法、装置及系统。

其中，本发明所采用的技术方案为：

第一方面，一种手语控制方法，应用于用户设备，包括：获取图像数据，所述图像数据是对用户执行的手语动作进行拍摄生成的；对所述图像数据中的手语动作进行动作识别，得到所述手语动作对应的文本信息；对所述手语动作对应的文本信息进行交互意图解析，生成用于指示用户交互意图的交互指令；通过所述交互指令控制目标设备执行相应动作。

第二方面，一种手语控制方法，应用于手语控制系统，所述手语控制系统包括用户设备和服务端，包括：所述用户设备获取图像数据，并根据所述图像数据向所述服务端发起动作识别请求；所述服务端响应所述动作识别请求对所述图像数据中的手语动作进行动作识别，得到所述手语动作对应的文本信息；对所述手语动作对应的文本信息进行交互意图解析，生成用于指示用户交互意图的交互指令；通过所述交互指令控制目标设备执行相应动作。

第三方面，一种手语控制装置，应用于用户设备，包括：数据获取模块，用于获取图像数据，所述图像数据是对用户执行的手语动作进行拍摄生成的；动作识别模块，用于对所述图像数据中的手语动作进行动作识别，得到所述手语动作对应的文本信息；交互解析模块，用于对所述手语动作对应的文本信息进行交互意图解析，生成用于指示用户交互意图的交互指令；设备控制模块，用于通过所述交互指令控制智能设备执行相应动作。

在一示例性实施例中，所述数据获取模块包括：拍摄单元，用于从至少一个拍摄角度对所述用户所在环境进行连续性拍摄，得到原始图像数据；对所述原始图像数据进行人体特征检测；如果所述原始图像数据中检测到人体特征，则对所述原始图像数据进行分帧处理，生成包含若干图像帧的所述图像数据，所述图像帧包含所述用户执行的手语动作。

在一示例性实施例中，所述动作识别模块包括：局部特征提取单元，用于采用卷积神经网络对所述图像数据中的若干图像帧进行局部特征提取，得到所述图像数据的若干局部特征，每一个局部特征对应一个图像帧；全局特征提取单元，用于将所述图像数据的若干局部特征输入长短期记忆循环神经网络，得到所述图像数据的全局特征；文本预测单元，用于根据所述图像数据的全局特征对所述图像数据中的手语动作进行文本预测，得到所述手语动作对应的文本信息。