[发明专利]一种基于立体视觉的三维手掌姿态识别交互方法和系统

摘要

本发明公开了一种基于立体视觉的三维手掌姿态识别方法和系统，属于计算机视觉和人机交互技术领域。本发明包括使用立体视觉信息采集设备进行数据的采集，得到包括深度信息在内的三维数据；通过得到的三维数据对手掌进行分割，然后运用平面拟合，获得手掌在三维空间中的姿态；根据跟踪识别的手掌姿态，匹配预定义的标准手势，进行具体的三维应用，实现人机交互。本发明通过识别手掌的姿态，使得识别的精度更高，更少的出现误识别的操作，同时解决了一般基于指尖识别的高运算量的问题，实现了更加实时的人机互动功能，保证了交互的准确性和易用性。

主权项

一种基于立体视觉的三维手掌姿态识别交互方法，其特征在于，包括：步骤1采集立体视觉信息：使用立体视觉信息采集设备采集图像作为立体视觉信息；步骤2得到三维数据：根据采集的所述立体视觉信息，获取其三维数据；步骤3手掌分割：根据得到的所述三维数据，使用分割算法对手掌进行分割，分割得到所述手掌的点云以及手掌区域的轮廓信息；步骤4手掌平面拟合：应用点云平面拟合方法，具体包括以下步骤：(4‑1)以相同的概率初始化分割得到的每个手掌区域的三维点集；(4‑2)随机选取一组用于求解拟合平面参数的最小点集，计算相应的手掌拟合平面参数；(4‑3)计算所述三维点集中所有点到拟合平面的距离误差；(4‑4)根据每个点到所述拟合平面的误差大小调整其采样概率，并将所有点的采样概率归一化，每次更新点的采样概率时,参与本次平面拟合的点的采样概率保持不变；(4‑5)根据更新后的采样概率选取新的最小点集，依次迭代下去,直到每个点的采样概率不再变化；步骤5获得所述手掌在三维空间中的姿态：所述姿态包括是否存在手掌，手指的朝向和伸展状态，以及手掌的位置和运动速度；步骤6识别手掌的运动状态：根据所述姿态对所述手掌的运动状态进行识别，获得所述运动状态的特征值信息；步骤7手势匹配：将得到的连续多帧的所述运动状态的特征值传入已训练好的隐马尔科夫模型中，与预定义的标准手势的特征值时间序列进行匹配，得到与所述运动状态最接近的标准手势，将其作为手势匹配结果。