[发明专利]一种基于卷积神经网络的人机交互方法

权利要求书

1.一种基于卷积神经网络的人机交互方法，其特征在于包括下述步骤：

（1）训练神经网络：

1.1 对视频库中手势动作逐帧识别，形成手轮廓图像；

1.2 对识别的手轮廓图像执行通道求和操作；

1.3 对求和操作得到的图像输入到卷积神经网络中进行训练，得到训练好的神经网络；

（2）手势判断：

2.1 对摄像头采集的手势动作逐帧识别，形成手轮廓图像；

2.2 对识别的手轮廓图像执行通道求和操作；

2.3 对步骤2.2求和操作得到的图像输入到步骤1.3训练好的卷积神经网络中，判断出输入的手势动作属于什么类型手势；

2.4 输出识别结果，进行相应手势操作；

所述步骤1.1和步骤2.1中形成手轮廓图像的步骤为：

1.1.1 从视频库或摄像头中获取一段手势动作帧序列，假设总帧数为n；

1.1.2 从帧序列中提取第i帧图像Ii，i的初始值为1；

1.1.3 根据图像Ii的R G B三个分量中各自的平均值确定出图像Ii的平均灰度值，然后调整图像Ii每个像素的R G B值，使得调整后图像Ii的R G B三个分量中各自的平均值都趋于平均灰度值；

1.1.4 使用Sobel算子对调整后的图像Ii进行边缘检测，并按边缘闭合区域分割图像，形成多个子图像集A（A1， A2，…，An），根据人体肤色灰度值数据Gskin，标记出图像Ii中的手轮廓Aj；

1.1.5 将手轮廓外区域设置颜色值为0，轮廓内区域设置颜色值为INT（256×i/n），得到图像Si；

1.1.6 如果不是最后一帧图像，则i=i+1，跳转到步骤1.1.2，如果是最后一帧，则完成手轮廓图像形成步骤。

2.根据权利要求1所述的基于卷积神经网络的人机交互方法，其特征在于：所述步骤1.2中通道求和操作步骤为：

1.2.1 对手势动作帧序列所有轮廓图像Si执行通道求和操作，求和得到各通道的求和图像P_Rj=∑S_Ri，P_Gj=∑S_Gi，P_Bj=∑S_Bi；下标R，G，B分别表示红绿蓝三个通道，把三个通道重新整合为RGB图像，即图像Pj。

3.根据权利要求1或2所述的基于卷积神经网络的人机交互方法，其特征在于：在步骤1.1.2和步骤1.1.3之间对图像Ii进行 中值滤波去噪操作，提高鲁棒性。

4.根据权利要求2所述的基于卷积神经网络的人机交互方法，其特征在于：所述图像Ii的颜色模式替换为CMYK或Lab模式，步骤1.1.3和步骤1.2.1对图像的操作分别针对C、M、Y、K或L、a、b通道进行。