[发明专利]一种基于立体视觉的三维手掌姿态识别交互方法和系统

权利要求书

1.一种基于立体视觉的三维手掌姿态识别交互方法，其特征在于，包括：

步骤1采集立体视觉信息：

使用立体视觉信息采集设备采集图像作为立体视觉信息；

步骤2得到三维数据：

根据采集的所述立体视觉信息，获取其三维数据；

步骤3手掌分割：

根据得到的所述三维数据，使用分割算法对手掌进行分割，分割得到所述手掌的点云以及手掌区域的轮廓信息；

步骤4手掌平面拟合：

应用点云平面拟合方法，具体包括以下步骤：

(4-1)以相同的概率初始化分割得到的每个手掌区域的三维点集；

(4-2)随机选取一组用于求解拟合平面参数的最小点集，计算相应的手掌拟合平面参数；

(4-3)计算所述三维点集中所有点到拟合平面的距离误差；

(4-4)根据每个点到所述拟合平面的误差大小调整其采样概率，并将所有点的采样概率归一化，每次更新点的采样概率时,参与本次平面拟合的点的采样概率保持不变；

(4-5)根据更新后的采样概率选取新的最小点集，依次迭代下去,直到每个点的采样概率不再变化；

步骤5获得所述手掌在三维空间中的姿态：

所述姿态包括是否存在手掌，手指的朝向和伸展状态，以及手掌的位置和运动速度；

步骤6识别手掌的运动状态：

根据所述姿态对所述手掌的运动状态进行识别，获得所述运动状态的特征值信息；

步骤7手势匹配：

将得到的连续多帧的所述运动状态的特征值传入已训练好的隐马尔科夫模型中，与预定义的标准手势的特征值时间序列进行匹配，得到与所述运动状态最接近的标准手势，将其作为手势匹配结果。

2.如权利要求1所述的方法，其特征在于，所述步骤1中使用的所述立体视觉信息采集设备包括：深度摄像机、双目摄像机或多目摄像机。

3.如权利要求2所述的方法，其特征在于，所述步骤2中采用双目摄像机获取所述三维数据，具体包括以下子步骤：

(2-1)使用MATLAB中的Camera Calibration工具箱分别对所述双目摄像机的左右摄像头单独进行内部参数标定，其中，标定参数包括所述左右摄像头的焦距、成像远点、畸变系数和双目相对位置；

(2-2)根据得到的所述标定参数进行所述双目摄像机的外部参数标定；

(2-3)使用所述双目摄像机采集左右图像，并利用OpenCV库和标定的所述外部参数对所述左右图像各自进行畸变校正，最后对两幅图像一起进行立体校正；

(2-4)对立体校正后的两幅图像进行立体匹配，得到视差图，根据所述视差图计算得到所述三维数据。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述步骤3中对手掌进行分割具体包括以下步骤：

(3-1)设待分割图像的原始灰度级为M，灰度值为i的像素点的个数为n_i，其中i＝0,1,2,…,M-1，对灰度值i出现的概率进行归一化：

(3-2)设分割阈值为t，将灰度值分为了两类，每一类出现的概率分别为和每一类的平均灰度值分别为和其中

(3-3)定义类间方差为：σ²＝w₀×(μ₀(t)-μ_T(t))²+w₁×(μ₁(t)-μ_T(t))²，其中t从0到M-1之间变化，使得所述类间方差σ²最大的值即为分割最佳阈值。

5.如权利要求1所述的方法，其特征在于，所述步骤3还包括：

比较分割所获得的所述手掌区域与所述图像的比例是否小于预设的比例阈值，是则判断所述图像内不存在手掌。