[发明专利]基于机器视觉的多点触摸跟踪方法

说明书

技术领域

本发明涉及图像分析、目标检测与目标跟踪领域，特别是多点触摸轨迹跟踪方法。

背景技术

近年来，随着计算机软硬件技术的飞速发展，给人类生活方式发生了根本性的变更。人工智能的兴起，缓解了人类脑力与体力劳动的输出，给人类生活带来了无所比拟的便捷，对人工智能的探索，要求机器能够正确理解人类的思想意图，因此人机之间正确交互愈发重要。

手势作为一种有效的交流方式，能够辅助机器理解人类思想意图。当前，虚拟环境的广泛应用，要求人机交互更加自然，机器理解更为直接。基于传统鼠标、键盘、操作杆的控制方式不利于全面表达用户意图，因此构建更直接的人机交互将具有广阔的市场前景。图像处理、机器视觉和模式识别的兴起更是为人机之间提供更自然的交互提供的技术支持。

目前，基于视觉的手势识别方法主要分为两类：一是基于3D模型的分析方法，一是基于二维图像的分析方法。基于3D模型的分析方法需建立起描述手势的参数模型，因其能提供三维数据，所以可以建立起较为精确的手势模型，然而该方法参数多，计算复杂度高，目前技术下很难达到实时性要求；基于二维图像的分析方法主要是对图像的性质进行分析，提取到有效的手部特征，并进行识别，但由于丢失了第三维空间的信息，使得所描述的特征不能有效建立起手势模型，鲁棒性较差，然而其参数较少，能满足实时处理的要求，因此，目前工业实践中主要仍是对二维图像进行处理。

在基于手势的人机交互中，单点触摸技术发展较为成熟，在小尺寸触摸装置中应用非常广泛，如触摸手机、PDA等，但在大尺寸触摸装置中效果仍需改善，影响其触摸效果的主要原因是原材料限制、电子元器件的内部噪声、环境因素和非故意偶然接触，致使伪触摸点产生，从而导致误操作。此外，单点触摸功能较为单一，只能表达有限的几种交互操作，因此开发多点触摸技术能使人机之间交互更为自然。

多点触摸因涉及到多个触摸点同时运动，因此需要正确关联起相邻帧间的相应点，若相邻帧间的触摸点关联错误，将会产生错误的运动轨迹，从而致使机器不能正确理解用户意图。目前，在工业产品中相邻帧间相应点关联主要采用欧式距离法来进行关联。该方法针对上一帧中各触摸点，在当前帧中检测与之对应距离最近的触摸点，并进行关联。该方法在各触摸点相对较远的情况下，能正确地进行关联，但若各触摸点相对较近，则易产生错误关联。图5所示为错误触摸点正确关联的示意图，图6为错误关联的示意图。

发明内容

本发明解决的技术问题是提供一种基于机器视觉的多点触摸跟踪方法，使得该方法通过利用图像分析技术对相邻帧间多个触摸点进行正确关联，生成正确的运动轨迹，进而使机器能理解轨迹的意义，从而达到自然交互的目的。

为解决上述技术问题，本发明采用的技术方案是：

一种基于机器视觉的多点触摸跟踪方法，该方法包括以下步骤：

步骤1：根据经验统计值，初始化触摸点作用域范围值；

步骤2：获取当前帧各触摸点坐标，并判断当前帧是否为第一帧，若是则执行步骤11；若否则执行步骤3；

步骤3：根据当前作用域范围值判断前一帧中是否存在一对一触摸点或一对多触摸点，若存在则执行步骤4；若不存在则执行步骤11；

步骤4：判断前一帧中是否存在一对一触摸点，若存在则执行步骤5；若不存在则执行步骤6；

步骤5：将一对一触摸点进行关联，并用各对关联点欧式距离的平均值的1至2倍更新作用域范围值，且用各对关联点夹角的平均值作为参考方向；并判断前一帧中是否还有未关联的一对多触摸点，若有则执行步骤7，若无则执行步骤11；

步骤6：将一对多触摸点进行关联，并用各对关联点欧式距离的平均值的1至2倍更新作用域范围值，且用各对关联点夹角的平均值作为参考方向；执行步骤11；

步骤7：对前一帧中的一对多触摸点在其作用域范围中依参考方向搜索仍未与其关联的相连触摸点，并进行预关联，执行步骤8；

步骤8：计算各对预关联触摸点的总距离，判断其总距离是否达到相对最小值，若达到相对最小值，执行步骤9；否则，重新进行预关联，执行步骤7；

步骤9：比较各对预关联触摸点之间的距离，是否都处于同一范围中，若是，则表示预关联正确，进而将其关联，执行步骤10；否则，重新进行预关联，执行步骤7；

步骤10：对各预关联点进行关联，执行步骤11；

步骤11：获取下一帧图像，回到步骤2。

与现有技术相比，本发明的有益效果是：