[发明专利]基于Kinect v2和Leap Motion的数据融合的手势识别方法

摘要

本发明涉及一种Kinect v2和Leap Motion的数据融合的手势识别方法，其特征在于具体实现步骤如下：1、设备的布置；2、利用Kinect v2得到人体的深度图，并利用中间件OpenNi和Nite2取得人手的中心，然后对Kinect v2的深度图进行处理；3、深度图像预处理，4、得到指尖的空间坐标；5、初步的联合标定；6、两个Leap Motion的数据的精细配准；7、Kinect v2和基准Leap Motion之间的数据的精细配准；8、数据在时间上的对准；9、两种体感设备数据的采信方案；10、采信识别手指是运动的那个Leap Motion的数据。可以由Kinect v2扩展手的活动空间，提高了系统人机自然交互的效果，提高了手势的识别率。

主权项

1.一种Kinect v2和Leap Motion的数据融合的手势识别方法，包括2台计算机、2台Leap Motion、1台Kinect v2，其中1台计算机为服务端计算机，1台计算机为客户端计算机，1台Leap Motion为基准Leap Motion，1台Leap Motion为辅助Leap Motion；首先，从Kinect v2的深度图像中识别指尖；然后，分三步对三个体感设备观察到的坐标进行空间上的对准，一是联合标定三个体感设备得到初步的坐标转换参数，二是对两个Leap Motion精细标定，三是Kinect v2和基准Leap Motion精细标定；最后，利用Unity将三个体感设备的数据在时间上对准，建立数据的采信方案，实现手势识别；其特征在于具体实现步骤如下：步骤1、设备的布置，基准Leap Motion和Kinect v2通过数据线与服务端计算机进行连接，辅助Leap Motion通过数据线与客户端计算机进行连接；两个Leap Motion的角度为60°；Kinect v2距离基准Leap Motion大概700mm；步骤2、取得手部区域，利用Kinect v2得到人体的深度图，并利用中间件OpenNi和Nite2取得人手的中心，然后对Kinect v2的深度图进行处理，分两种情况取得手部区域，(1)手心法向量指向Kinect v2时，利用Kinect v2的手部和背景的深度数据取得手部区域；(2)其他情况，按手部区域所占像素来获取手部区域；步骤3、深度图像预处理，利用彩色图像、双边滤波和终止滤波对深度图进行预处理，消除空洞现象、高斯噪声和椒盐噪声；步骤4、得到指尖的空间坐标，利用Canny算子提取手部区域轮廓；计算手部中心与手部边缘上每个像素的距离，并得到距离曲线；距离曲线多数峰值点对应的坐标位于手部中心之上，视为手指；少数峰值点对应的坐标位于手部中心以下，需经判断，距离手部中心y轴上更近的坐标点是指尖坐标，距离手部中心y轴上更远的坐标点不是指尖坐标；确定指尖的像素位置后，利用Kinect v2的SDK，将指尖的像素位置转换到对应的三维空间坐标；步骤5、初步的联合标定，本发明1D标定物是一根杆上的三个反光球，同时标定三个体感设备，求出每个体感设备向基准坐标系转换的旋转矩阵R、平移矩阵T和内参数矩阵K，K中包含内参数α,β,γ,u0,v0，其中α和β表示图像u轴和v轴的比例因子，单位是mm，u0和v0表示相机的主点位置，单位是像素，γ表示坐标轴倾斜参数；步骤6、两个Leap Motion的数据的精细配准,设基准Leap Motion对应的关键采样点的点集为B＝{bi|bi∈R3,i＝1,2,...,m}，辅助Leap Motion对应的关键采样点的点集为V＝{vi|vi∈R3,i＝1,2,...,m}；点集B和点集V的点下标数相等，且一一对应组成关联点对，利用单位四元数表示旋转矩阵和平移矩阵，设旋转向量为qR＝[q0,q1,q2,q3]，平移向量为qT＝[q4,q5,q6]，则坐标变换向量为qall＝[qR|qT]，这样，求得qall，即可得到辅助Leap Motion坐标系向基准Leap Motion坐标系转换的旋转矩阵R'和平移矩阵T'；步骤7、Kinect v2和基准Leap Motion之间的数据的精细配准，采用的对应点集是手的所有指尖，将刚性的手模型张开，保持各个关节在Kinect v2和基准Leap Motion的观测范围内不互相遮挡，使Kinect v2和基准Leap Motion能观测到手部的所有关节；利用步骤5的精细配准步骤，得到Kinect v2向基准Leap Motion坐标转换的旋转矩阵和平移矩阵；步骤8、数据在时间上的对准，对于服务端计算机的两个体感设备设置同样的采样频率，使得基准Leap Motion采集的一帧对应同时刻Kinect v2采集的一帧；两个Leap Motion数据在时间上的对准采取对一个动作的时间配准，通过特征夹角的状态来判定一个动作的起止，使两个Leap Motion得到的数据对应的都是同一个手部动作的数据，融合方式如下：(a)当一个动作未开始时，两个Leap Motion观测到的角度特征值同时是稳定状态；(b)当基准Leap Motion检测到该手指的一个或多个特征值在某一时刻变成了非稳定状态，记这个时刻为一次运动的起点，而辅助Leap Motion由于两台计算机传输原因，延迟一段时间之后，其相对应的特征值也进入非稳定状态；(c)当手部动作结束时，基准Leap Motion的全部特征值再次变为了稳定状态，经过两台计算机之间的数据传输，当辅助Leap Motion的全部特征值变为稳定状态，这时才是手部运动的结束；步骤9、两种体感设备数据的采信方案，根据两种体感设备的识别范围筛选和采信数据，利用手心位置判断体感设备的识别范围，采信方案1：(a)当手的位置超出Leap Motion可识别的范围，则采信Kinect v2的数据，否则采信Leap Motion的数据，注意，采信Kinect v2数据指的是手的位置数据，不是采信其指尖数据，指尖和手势的数据还是保持之前Leap Motion的数据；(b)当Kinect v2得不到指尖数据时，则不采用Kinect v2得到的数据，只采信两个Leap Motion的数据；步骤10、两个Leap Motion数据的采信方案,根据Leap Motion特性，当手指被手的其他部分遮挡时，建立决策层采信方案2：(a)当两个Leap Motion监测某支手指，在330ms内10帧的时间手指的状态一致，采信离手指近的那个Leap Motion的数据；(b)当两个Leap Motion在一定时间内即330ms，10帧的时间识别某支手指状态不一致，采信识别手指是运动的那个Leap Motion的数据。