[发明专利]一种基于立体视觉的虚拟触摸板方法

说明书

技术领域

本发明属于计算机视觉交互，涉及一种基于立体视觉的虚拟触摸板方法。

背景技术

近些年来，便携键盘和鼠标虽然能够完成大部分的交互任务，但需要完全占据用户的双手和注意力，在交互的自然性和灵活性方面存在很大的局限性。而基于视觉的人机交互通过成像设备获取交互场景中包含人的视频图像，采用视觉算法对人的行为和交互意图进行识别、理解和描述，提供一种以人为中心的自然的人机交互方式。

人类最习惯用双手与外界进行大部分交互操作，因此基于视觉的手势交互也受到了广泛的关注和研究。经过多年的研究，基于视觉的人机交互技术取得许多进展，但仍然存在许多困难和挑战。

基于穿戴视觉的手势交互系统允许用户自由运动到任何地方，也可以与计算机分享穿戴者的视觉体验，但穿戴环境下人机交互方式的自然性、多样性和人性化等因素都会对交互体验产生重要的影响。

专利“一种基于杂乱背景中的手势跟踪方法，申请号CN201510401525.0”，采用在LUV色彩空间中对每一帧图像进行直方图分割，再将分割的不同区域按照肤色的可能性大小排序，通过计算当前帧的不同区域同前面帧中手势区域的距离大小以及对应的每个区域中的运动像素点的个数，确定当前帧的手势区域，并记录手势信息。

专利“指示手势的手指尖定位方法，申请号CN200910198196.9”，是根据指示手势行为中的指示手势的手部特征，自动确定指示手势的手指尖位置。采用背景差分法，提取指示手势对象，运用肤色分割方法，提取指示手势的手部区域，根据指示手势的手指尖位于指示手势的手部边沿轮廓且距离指示手势的手指区域重心最远处，自动确定手指尖点。

专利“手势操作方法、利用手势定位屏幕光标的方法及手势系统，申请号CN201510731772.7”，先获取用户的至少一个特征部位，以所述特征部位所在位置为参考，生成与所述特征部位的位置具有固定相对位置关系的虚拟操作空间，检测所述虚拟操作空间中的手势，并执行相应的操作。

上述前两个发明主要利用肤色特征先进行人手分割然后进行识别和跟踪，虽然基于颜色的人手跟踪算法简单易用，但是对光照条件的变化敏感，很难适应穿戴计算中多变的环境。

上述第3个发明虽然可以获取手势的三维信息，但需提前选定至少一个参照物，且无法区分穿戴者的行为意图。

发明内容

本发明目的在于利用虚拟触摸板提供的空间约束，以一种自然的方式区分穿戴者的交互行为和随意行为，有效解决了视觉交互中无法区分穿戴者行为意图的问题。此外，针对穿戴环境下光照条件和背景变化的不确定性，提出了基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT算法实现指示手势的跟踪。

为解决上述技术问题，本发明采用如下的技术方案：一种基于立体视觉的虚拟触摸板方法，包括以下步骤：

S1，融合多条视觉线索实现指示手势的跟踪；

S2，结合深度信息和摄像机成像模型计算得到指尖的三维位置；

S3，给出虚拟触摸板的定义，并结合指尖的三维位置与虚拟触摸板的深度信息，实现人机交互操作。

进一步地，本发明的步骤S1中，是通过基于ICONDENSATION框架融合轮廓与LBP特征的CL-PGT(即Contour and Lbp based Pointing Gesture Tracking)算法实现指示手势的跟踪。

ICONDENSATION框架是通过引入重要采样机制对CONDENSATION算法(出自论文CONDENSATION-Conditional density propagation for visual tracking，作者M.Isard、A.Blake，International Journal of Computer Vision(IJCV)，1998，29(1)：5-28.)进行的扩展，而CONDENSATION算法实际上是粒子滤波器(出自论文Novel approach to non-linear and non-gaussion Bayesian state estimation，作者Gordon N、Salmond D，ProcofInstitute Electric Engineering，1993，140(2)：107-113.)的一种变形。

此跟踪算法同时采用运动模型和重要采样两种方式对粒子的状态进行预测，即综合考虑时空约束和基于深度线索的启发式信息来提高粒子采样的准确性和效率。