[发明专利]用于识别多个物体的形状的方法与系统

说明书

技术领域

本发明涉及人机交互。特别地，本发明涉及基于摄像头的多物体形状识别方法及其系统。

背景技术

多年来，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行着不懈的探索。触摸式交互已逐渐成为新的主流人机交互方式，其可以方便的应用于日常生活中的各类电子产品，如手机、平板电脑、触摸屏以及笔记本触摸板等。随着多点触控技术的普及，我们可以使用更丰富的方式操纵电子产品。现有的触摸方式主要以识别与跟踪触摸点为基础。然而，在使用触摸设备时，用户不仅可以使用指尖，还可以使用手的不同部位或者不同物体与触摸平面接触。如果触摸系统可以对接触物体的形状加以识别，触摸交互将具有更多的表达内容、与更灵活的操作方式。

申请号为201110092619.6的中国专利申请提供了光学触摸屏及光学触摸屏的触摸定位方法。在该专利申请中使用一字线型激光照射点击区域，位于测量区域两顶角处安装的摄像头采集图像。通过识别图像中的光斑，并进行三角测量定位，以确定点击位置。但该专利申请中仅描述了识别单点触摸的方法，并不能识别物体形状。

申请号为201110070070.0的中国专利申请提供了具有触摸点形状识别功能的触摸屏。该专利申请中使用超声波方法识别触摸点形状。

申请号为200810201934.6的中国专利申请提供了基于双目立体视觉的多点触摸方法。该专利申请中，使用立体视觉方法对双目摄像头采集图像进行匹配，然后通过阈值方法选择触摸点。

然而，现有技术中并未提供对触摸平面上的多个物体的形状进行高精度识别的方案。

发明内容

本发明综合考虑了现有技术中存在的多方面问题，并以较低成本、较低计算复杂度和较低的系统的复杂度为代价，实现了对平面上的多个物体的形状进行高精度识别的方案。

本发明的技术方案为使用立体视觉技术，在一字线形激光照明的辅助下，识别桌面上多物体的形状并跟踪各位置。其具有以下特点：

(1)识别对象不限于手指，可以为具有形体的任何物体；同时也不限接触介质的类型(如是否有穿戴手套等)；

(2)可以识别物体的形状：通过激光照明的辅助，系统可以对物体与桌面接触的形状进行建模；

(3)可同时识别多个物体：由于系统使用立体匹配技术，所以对于每个待识别的物体，都可以独立计算其深度信息(即与设备的距离)，这样就可以同步对多个物体进行识别，且不会混淆各识别目标。

(4)易于携带，使用方便：由于系统为光学触摸系统，其可以方便的集成于一个硬件实体之上。在使用时，将设备置于桌子之上，便能以桌面为假象触摸平面进行交互。

根据本发明的实施例提供了基于光学系统识别多个物体的与第一平面的接触面的形状的方法，所述光学系统包括一字线型激光器、第一摄像头与第二摄像头，所述一字线型激光器的激光照射平面与第一平面平行，所述第一摄像头与所述第二摄像头的视野覆盖所述第一平面，所述多个物体放置在所述第一平面上；所述方法包括：使所述一字线型激光器的照射所述多个物体；使所述第一摄像头捕捉所述一字线型激光器的照射所述多个物体所形成的第一图像；使所述第二摄像头捕捉所述一字线型激光器的照射所述多个物体所形成的第二图像；以及基于所述第一图像与所述第二图像识别所述多个物体的形状。

根据本发明的实施例，其中所述第一摄像头与所述第二摄像头相对于所述第一平面的距离大于所述一字线型激光器相对于所述第一平面的距离；所述方法还包括：校正所述第一图像与所述第二图像，得到与所述第一图像相对应的第三图像，以及与所述第二图像相对应的第四图像，使得所述第三图像与所述第四图像的对应行是对齐的；对所述第三图像与所述第四图像执行立体匹配，使得所述第三图像中的多个第一像素与所述第四图像中的多个第二像素建立一一对应关系，所述第一像素对应于所述多个物体的第一点，而同所述第一像素相对应的所述第二像素也对应于所述第一点；基于多个所述第一像素与多个所述第二像素，计算多个所述第一点的位置、颜色和/或亮度；基于多个所述第一点的位置、颜色和/或亮度，提取所述一字线型激光器的照射所述多个物体而在所述多个物体上形成的多个光斑区域；基于所述多个光斑区域内的所有点的坐标进行曲线拟合，拟合得到第一曲线；以及基于所述第一曲线得到所述多个物体的形状。

根据本发明的实施例，其中基于所述第一像素在所述第三图像中的坐标与第二像素在所述第四图像中的坐标，通过三角定位得到所述第一点的位置的空间坐标。