[发明专利]基于计算机视觉技术的多点触摸屏系统实现方法与装置

摘要

本发明公开一种基于计算机视觉技术的多点触摸屏系统实现方法与装置，系统装置由3组摄像机、1个图像处理装置和1个普通显示屏组成。3组摄像机的输出端都接在图像处理装置上。在显示屏的左右两端各放置一组指向显示屏边框的水平摄像机，当手指进入摄像机取景范围时，可根据手指指尖与显示屏距离判断是否产生触摸。显示屏前方放置一组指向显示屏且整个显示屏处于其取景范围内的垂直摄像机，当产生触摸时，可根据该摄像机拍摄的图像获取指尖点位置，同时对手指进行跟踪。图像处理装置通过对摄像机采集的图像进行处理，得到指尖触摸点的位置和手指动作信息，转换为相应的指令完成触摸操作。

主权项

基于计算机视觉技术的多点触摸屏系统实现方法，其特征是包括如下步骤：(1)在显示屏的左右两端各放置一组指向显示屏边框的水平摄像机来获取指尖触摸的动作图像，在显示屏前方放置一组指向显示屏且整个显示屏处于其取景范围内的垂直摄像机来指尖触摸点的位置图像，2个水平摄像机和1个垂直摄像机的输出端均与图像处理装置的输入端相连；(2)图像处理装置预先对置于显示屏前方的垂直摄像机进行系统标定，获得成像平面坐标与显示屏平面坐标的映射关系；(3)图像处理装置发出控制信号启动2个水平摄像机，在系统初始化时显示屏左右两端的水平摄像机记录下显示屏边框在图像中的位置；当手指进入水平摄像机取景范围后，采用背景差分法和肤色分割算法获取手指的轮廓，根据手指指尖与显示屏边框的距离判断是否产生触摸；(4)当产生触摸时，图像处理装置发出控制信号启动垂直摄像机，并采用背景差分法和肤色分割算法获取手指的轮廓，并通过基于向量的实时指尖定位算法实时准确地获取指尖的像素点；(5)图像处理装置根据成像平面坐标与显示屏平面坐标的映射关系，将指尖的像素点转换为显示屏对应的坐标；(6)图像处理装置根据指尖坐标和指尖停留时间进行点击检测，若符合点击条件，则转换为相应的指令完成触摸操作；若不符合，则触摸操作未完成，采用卡尔曼滤波器对指尖点进行跟踪，预测下一帧图像指尖点位置；(7)在下一帧图像中以预测的指尖点为中心点划出感兴趣区域进行步骤(4)肤色分割和指尖定位，不断循环直至触摸操作结束。