[发明专利]一种实时手势识别方法及装置

权利要求书

1.一种实时手势识别方法，其特征在于包括：

步骤1：通过手势识别装置的左摄像头、右摄像头，进行图像显示帧的同步实时k行全屏扫描，获取红外图像数据，处理器分别对红外图像数据进行处理；步骤2：处理器将红外图像转化为灰度图像通过自适应阀值处理，将手势区域与背景区域进行分离，通过图像二值化的自适应法处理获得手势目标的二值化图；

步骤3：通过基于目标边界的预测归类算法对手势区域中每个手指进行相关特征的坐标位置的预测，并将不同的手指特征数据分离归类，获取手势区域中不同手指起始边缘数组a_ei、手指终止边缘数组b_ei、手掌边缘数组和手指骨干数组c_ei；当e=1时，代表左摄像头数据，e=2时，代表右摄像数据；

步骤4：通过每个手指的手指起始边缘a_ei、手指终止边缘b_ei和手指骨干数组c_ei，获得手指指尖圆心坐标(x_ei,y_ei)；

步骤5：通过步骤3、4，根据手指末端判断准则，获得不同手指指节末端；

步骤6：所述左摄像头、右摄像头分别通过对应的不同手指指节末端和手掌边缘拟合手掌圆心(x_e0,y_e0)；对左摄像头、右摄像头采集同一手势姿势的数据，进行双视差图匹配计算，得到匹配手势识别坐标点；

步骤7：将匹配手势识别坐标点进行三维建模从而获得手势的3维数据信息；对三维数据信息的运动轨迹进行平滑处理；将平滑后的三维数据信息进行应用输出。

2.根据权利要求1所述的一种实时手势识别方法，其特征在于所述步骤3

中基于目标边界的预测归类算法具体步骤：

步骤31：当检测到疑似手势目标，即二值图白色像素，并记录手势姿势在该行的起始点a_ei，其坐标值为(xa_ei,ya_ei)；

步骤32：当k行该疑似目标宽度，即连续白色像素个数大于阈值p时，认为检测到了手势目标而不是噪声点，并记录该行手势目标的终止点b_ei（xb_ei,yb_ei），其中p=10。

步骤33：通过前两步骤获得k-1行某个手指姿势的起始边缘(xa_e(i-1),ya_e(i-1))和终止边缘(xb_e(i-1),yb_e(i-1))，且ya_e(i-1)=yb_e(i-1)，通过(xa_e(i-1),ya_e(i-1))、(xb_e(i-1),yb_e(i-1))两点求出该手指姿势在k-1行的中点坐标(mx_e(i-1),my_e(i-1))，即手指骨干坐标(mx_e(i-1),my_e(i-1))，其中所述my_e(i-1)=ya_e(i-1)；其中k>=1,i>1。步骤34：由于手指姿势图像具有连续性，每个手指行扫描中点位置也具有连续性，则通过k-1行起始边缘(xa_e(i-1),ya_e(i-1))、终止边缘(xb_e(i-1),yb_e(i-1))、手指骨干坐标(mx_e(i-1),my_e(i-1))，预测下一行，即k行的起始边缘(xa_ei,ya_ei)、终止边缘(xb_ei,yb_ei)、手指骨干坐标(mx_ei,my_ei)，其中所述my_ei=ya_ei；

步骤35：根据连续性k行的起始边缘和终止边缘与k-1行相等，即当k行的手指骨干坐标在预测的手指姿势起始边缘与手指姿势终止边缘之间，则该中点、起始边缘、终止边缘都属于此手指目标的中点、起始边缘点、终止边缘，否则都不属于该手指目标，起始边缘(xa_ei,ya_ei)是通过i个起始边缘组成的边缘，终止边缘(xb_ei,yb_ei)是通过i个终止边缘组成的边缘，手指骨干坐标(mx_ei,my_ei)是通过i个中点坐标骨架；

步骤36：通过实时行扫描区分不同的手势姿势中不同手指骨干坐标(mx_ei,my_ei)、起始边缘(xa_ei,ya_ei)、终止边缘(xb_ei,yb_ei)，得到每个手势目标中不同手指骨干坐标(mx_ei,my_ei)、起始边缘(xa_ei,ya_ei)、终止边缘(xb_ei,yb_ei)，以及手掌边缘数组，进行分类存储。