[发明专利]面向残疾人士的手势便利控制系统

说明书

本发明提出了面向残疾人士的手势便利控制系统。属于智能家居领域；由图像采集模块、手势识别模块、手势控制模块和指令设定模块组成；所述图像采集模块采用Kinect传感器获取残疾人士的手势图像信息，图像采集模块输出端与手势识别模块输入端连接，所述的手势识别模块用于对获取的手势图像信息中的人物手势进行识别，其输出端与手势控制模块连接，所述的手势控制模块用于对家居内的电气设备进行控制，其通过局域网与指令设定模块连接，所述的指令设定模块用于对获取的手势图像信息中的人物手势与电气设备建立对应的指令关系。本发明可以智能地识别用户的手势，控制家居内的电气设备地运行，给用户带来舒适安全的享受，有非常广阔的应用场景。

技术领域

本发明涉及智能家居领域，具体涉及一种面向残疾人士的手势便利控制系统。

背景技术

近年来，由各种各样的灾难和残病造成的残障人士逐渐增加，如何利用现代信息技术扩大残疾人的生活空间，提高他们的生活质量，给他们带来舒适的生活环境成为近几年来国际学术界和企业界关注的热点问题，也是政府十分关注的焦点。在家居场景下通过识别用户手势，达到控制家居电气设备的效果，用户仅仅使用简单的手势就能控制灯光、空调、电视等设备的运行，为他们提供更多的方便和自由。

而在家居场景下由于用户手势存在复杂性与多变性，易受背景、光照(尤其是日间与夜间图像的差别)与拍摄角度等因素的影响，导致实时手势识别更为复杂。并且当今市场上，具有手势识别功能的智能家居设备还较为少见，且存在小样本的问题。

发明内容

针对上述问题，本发明提供了一种面向智残疾人士的手势便利控制系统，可以智能地识别用户的手势，控制家居内的电气设备地运行。该系统由图像采集模块、手势识别模块、手势控制模块和指令设定模块组成，所述图像采集模块采用Kinect传感器获取残疾人士的手势图像信息，图像采集模块输出端与手势识别模块输入端连接，所述的手势识别模块中设计了一个结合二次迁移学习的卷积神经网络(STL-CNN)模型对图像中的人物手势进行识别，解决了日间与夜间手势图像识别以及小样本的问题，其输出端与手势控制模块连接，所述的手势控制模块用于对家居内的电气设备进行控制，其通过局域网与指令设定模块连接，所述的指令设定模块用于对获取的手势图像信息中的人物手势与电气设备建立对应的指令关系。

本发明的技术方案是：面向残疾人士的手势便利控制系统，包括通过无线信号相互连接的图像采集模块、手势识别模块、手势控制模块及指令设定模块；

所述图像采集模块的输出端与手势识别模块的输入端相连接，所述手势识别模块的输出端与手势控制模块的输入端相连接，所述手势控制模块的输出端通过局域网与指令设定模块的输出端相连接。

进一步的，所述图像采集模块利用Kinect传感器的深度信息获取残疾人士的手势图像信息。

进一步的，所述手势识别模块用于对获取的手势图像信息中的人物手势进行识别；其具体操作步骤如下：

步骤(1)、对获取到的手势图像进行预处理，将图像从RGB颜色空间转换到YCbCr颜色空间，再通过全局固定阈值二值化法对图像进行肤色分割，得到二值化图像；

步骤(2)、对得到的二值化图像采用RCE神经网络进行手部区域分割；

步骤(3)、针对得到的手部区域，设计一个结合二次迁移学习的卷积神经网络模型进行手势识别。

进一步的，所述手势控制模块安置在家居电气设备中，通过获取家居电气设备的信息和实现对家居电气设备的控制。

进一步的，所述指令设定模块用于对获取的手势图像信息中的人物手势与家居电气设备建立对应的指令关系，并把指令通过局域网发送给手势控制模块。