[发明专利]基于计算机视觉技术的多点触摸屏系统实现方法与装置

权利要求书

1.基于计算机视觉技术的多点触摸屏系统实现方法，其特征是包括如下步骤：

(1)在显示屏的左右两端各放置一组指向显示屏边框的水平摄像机来获取指尖触摸的动作图像，在显示屏前方放置一组指向显示屏且整个显示屏处于其取景范围内的垂直摄像机来指尖触摸点的位置图像，2个水平摄像机和1个垂直摄像机的输出端均与图像处理装置的输入端相连；

(2)图像处理装置预先对置于显示屏前方的垂直摄像机进行系统标定，获得成像平面坐标与显示屏平面坐标的映射关系；

(3)图像处理装置发出控制信号启动2个水平摄像机，在系统初始化时显示屏左右两端的水平摄像机记录下显示屏边框在图像中的位置；当手指进入水平摄像机取景范围后，采用背景差分法和肤色分割算法获取手指的轮廓，根据手指指尖与显示屏边框的距离判断是否产生触摸；

(4)当产生触摸时，图像处理装置发出控制信号启动垂直摄像机，并采用背景差分法和肤色分割算法获取手指的轮廓，并通过基于向量的实时指尖定位算法实时准确地获取指尖的像素点；

(5)图像处理装置根据成像平面坐标与显示屏平面坐标的映射关系，将指尖的像素点转换为显示屏对应的坐标；

(6)图像处理装置根据指尖坐标和指尖停留时间进行点击检测，若符合点击条件，则转换为相应的指令完成触摸操作；若不符合，则触摸操作未完成，采用卡尔曼滤波器对指尖点进行跟踪，预测下一帧图像指尖点位置；

(7)在下一帧图像中以预测的指尖点为中心点划出感兴趣区域进行步骤(4)肤色分割和指尖定位，不断循环直至触摸操作结束。

2.根据权利要求1所述基于计算机视觉技术的多点触摸屏系统实现方法，其特征是步骤(4)中所述基于向量的实时指尖定位算法具体步骤如下：

(a)确定邻域半径r的值：该邻域半径r的取值需大于手指在图像中的宽度、且小于手指在图像中的长度，即

finger.width×image.widthscreen.width<r<finger.length×image.lengthscreen.length]]>①

上式中，finger.width和finger.length分别为手指的宽度和长度，image.width和image.length分别为图像宽和长的像素点数，screen.width和screen.length分别为触摸屏幕的宽度和长度；

(b)计算人手区域轮廓闭合曲线S中各点的弯曲度，得到弯曲度的集合C＝{C_i，i＝1，2，...，n}，其中人手区域轮廓闭合曲线S中的某一点P_i的弯曲度C_i为

②

上式中，P_i-r和P_i+r是点P_i的r领域集合Ω_i上的2个端点，为向量和向量的外积，为向量的模；

(c)在集合C中取|C_i|值最小且为正的元素，该元素所对应的点P_i即为指尖点；

(d)设手指的宽度差阈值为常数d，在集合C中取出点P_i的邻域外符合条件|C_k|＜|C_i|+d且为正的所有元素，得到新的集合Cr。

(e)根据步骤(d)得到的结果，若在Cr对应的点集合中有连通集合，则保留连通集合中|C_i|值最小的点，去除其余的点；最后剩余的点即为所有手指的指尖点。