[发明专利]一种基于双目视觉的摄像投影交互系统及方法

说明书

技术领域

本发明涉及图像处理领域，具体涉及一种基于双目视觉的摄像投影交互系 统及方法。

背景技术

随着图像处理技术、计算机视觉算法等的日益成熟，基于不同应用场景的 投影交互系统研究与应用正当蓬勃发展。2010年，张正友、高睿等人设计一套 基于投影仪摄像并应用于移动电子设备的人机交互系统，实现了对3D交互投影 面的自由切换。该系统主要是利用目标物对平行光的反射信息，并结合高速摄 像机记录场景中目标物的深度数据，以实现目标的检测，其精确度可达1～2cm。 该系统使用的高速摄像机对场景的物体进行采样，它的造价高昂且精确度无法 达到毫米级，因此该方案的性价比较低，不利于产品化。2012年，意大利的Hiroki Goto等人提出利用手部肤色分别在HSV和YCbCr空间下的颜色聚类特性进行 前景手势和复杂背景的分离。同时，他使用了帧差法消除背景，并对交互手势 运动的频率进行学习，辅助去除复杂背景的干扰。最后，在上述的基础上结合 模板匹配法识别指尖，实现用户与投影场景之间的互动效果。然而，该系统所 识别的对象为用户手部在投影光线下的阴影区域。而阴影区域对比度的强弱， 直接影响了图像算法对其识别的准确度。在对比度较弱的情况下，算法难以分 辨阴影区域和投影背景区域。

发明内容

为了克服现有技术存在的缺点与不足，本发明提供一种基于双目视觉的摄 像投影交互系统及方法。

首先，基于Vibe结合阴影去除算法准确分割投影区域内的运动目标，同时， 每个摄像头的镜头添加红外滤光片以降低背景复杂度；其次，通过在二值图像 中计算运动目标纵坐标最大的点以定位脚尖点在图像中的像素坐标；再次，以 脚尖点作为一个矩形上底边的中点，在二值图像中从该点向左及向右取相等的 若干长度作为矩形的上底边，并以一个固定长度作为矩形的宽，计算该矩形区 域的模板特征参数，并使用模式识别方法中的最小错误率贝叶斯分类器识别运 动目标；最后，将脚尖点在图像中的像素坐标利用本发明设计的坐标映射方法 映射到PC机的鼠标坐标，并调用鼠标API，从而实现对鼠标事件的控制，达到 用户与系统交互的目的。

本发明采用如下技术方案：

一种基于双目视觉的摄像投影交互系统，包括投影仪、两个USB摄像头， PC机及一块垫子，所述投影仪与PC机连接，将PC机的屏幕图像投影在垫子上， 所述垫子在USB摄像头的视场内，所述两个USB摄像头并排设置在相机架上， 所述PC机分别与两个USB摄像头连接，所述两个USB摄像头添加红外滤光片。

所述红外滤光片为直径11mm且厚度为1mm的850nm红外滤光片。

一种基于双目视觉的摄像投影交互系统的方法，包括如下步骤：

S1USB摄像头采集包含脚部的垫子图像作为待检测图像；

S2对图像进行畸变矫正及立体校正，得到校正后的图像；

S3对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图 像；

S4在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标；

S5利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特 征提取及目标识别；

S6脚尖动作识别，所述脚尖动作包括抬起与放下；

S7将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。

所述S3对校正后的图像进行运动目标前景分割，具体为：

S3.1基于Vibe算法分割运动目标；

S3.2去除运动目标的阴影，具体为：

S3.2.1基于色度的方法从Vibe检测到的前景像素中选取可能得到的阴影 像素，记阴影像素集合为：

SPC＝{p₁,p₂,…,p_n}；

其中，SP_(x,y)＝1的像素被认为是阴影像素，分别表示像素p 在H,S,V3个空间中的值，表示背景像素在H,S,V3个空间中的 值，α,β,τ_s,τ_H表示根据实际设定的阈值，SPC表示阴影像素集合，SP表示阴 影像素；n为基于色度的方法取出图像中所有可能的阴影像素；

S3.2.2基于区域连通原理，将SPC分为不同的连通区域块，记为连通区域 块集合CB＝{cb₁,cb₂,…cb_n}；