[发明专利]一种基于NMI智能控制家用电器的方法

权利要求书

1.一种基于NMI智能控制家用电器的方法，包括如下步骤：

步骤一，构建包含各种手势的NMI特征值的数据库；

将用于控制家用电器开/关机，调节空调温度/电灯亮度/电视机音量的手势图像的NMI特征值录入数据库；

因正常人左右手的差别极小，所以左右手做同样手势的手势图像的NMI特征值差异同样很小，即当录入数据库的手势图像是右手，而实际中使用左手对家用电器进行控制时，依然能满足控制需求，而不会出现报错；此外，因NMI特征具有很好的平移变换、旋转变换、亮度变换以及比例变换不变性，所以实际中对家用电器进行控制时的手势与标准手势有所偏差也不会影响控制结果；同时，若数据库中的标准手势分别是由小孩、青少年、成年人的手部做出来的动作组成，当同年龄段的其他人员对家用电器做出同样的手势时也可以实现对家用电器的准确控制，即只要在数据库中录入有某个年龄段某个人控制家用电器的某个手势，同年龄段的其他人员对家用电器做出相应手势时即可实现对家用电器的正确操控，这无形中大大减少了前期的数据采集、录入的处理工作；

步骤二，搭建手势采集系统；

采用摄像头对用户做出的手势进行采集；

步骤三，建立手势识别系统；

利用NMI对预处理后的手势图像进行特征提取，通过对比待识别手势图像的NMI特征值与数据库中各种手势的NMI特征值，完成对用户所做手势的识别，获得手势信息，其实现流程如下：

(一)预处理手势图像；

对手势图像的预处理包括图像灰度化、图像综合滤波处理以及图像二值化；

(1)图像的灰度化；

利用加权平均值法对手势彩色图像进行灰度化处理；由于人眼对RGB三颜色的感应强弱各不相同，所以对图像的RGB三颜色进行加权平均处理，即有：

Gray(i,j)＝0.3R(i,j)+0.59G(i,j)+0.11B(i,j)               (1)

(2)图像的综合滤波处理；

灰度化后的手势图像，会受到一定程度的高斯噪声、椒盐噪声的影响，而这些噪声的存在会增加后续研究的难度；采用综合滤波对手势图像灰度图进行处理，即先采用均值滤波去除图像的高斯噪声，然后采用中值滤波去除图像的椒盐噪声，以提高手势图像灰度图的质量；

(3)图像的二值化；

手势图像灰度图经综合滤波处理后，图像的手势纹路与其背景区域的对比度被拉大，相互间的区分度得到进一步提高；因Niblack动态阈值分割算法在图像分割效果、运行效率和实际操作性方面有着突出的性能优势，利用该算法对综合滤波处理后的手势图像进行二值化处理；

Niblack动态阈值分割算法利用M×N大小邻域中所有元素，计算出邻域内像素灰度值平均值：

标准方差：

然后将灰度值均值和标准方差进行权值相加处理，最后将所得灰度值作为判决阈值，进行二值化，得到手势图像的二值特征图；即有：

H(i,j)＝α×k(i,j)+β×s(i,j)             (4)

其中，t(i,j)为综合滤波处理后M×N邻域中的像素灰度值，k(i,j)为灰度值平均值，s(i,j)为标准方差，H(i,j)为阈值，α和β为修正权值；

(二)基于NMI提取手势特征；

利用二值化图像像素点灰度值之和、二值化图像的重心以及二值化图像绕其图像重心的转动惯量计算二值化手势图像绕其图像重心的NMI特征值，具体实现步骤如下：

(1)把二值化手势图像M×N看作平面薄片，把二值化图像的像素点看作XOY平面上的质点，把二值化图像的像素点的灰度值f(i,j)看作质点的质量，其中i和j分别表示像素点于像素矩阵中所在的行和列；

(2)计算二值化手势图像的质量m(f(i,j))：

(3)计算二值化手势图像的重心

(4)计算二值化手势图像绕其图像重心的转动惯量

(5)计算二值化手势图像绕其图像重心的归一化转动惯量，简称归一化转动惯量NMI：

(三)进行手势识别；

在获得待识别手势图像的NMI特征值X的基础上，将其与数据库中包含各种手势的NMI特征值Y_i进行一一对比，得到二者的差值A_i，然后将该差值与系统设定的判定阈值T进行比较分析；若A_i≤T，即可认为此待识别手势和数据库中与之产生该NMI特征值差值的手势相对应，反之，则不对应；

步骤四，将得到的手势信息输入控制系统，且该控制系统预先录入有与各种手势信息对应的控制命令，紧接着将控制命令施加于家用电器，使之做出相应的运行变化。