[发明专利]一种基于3D传感器定位技术的人机互动系统及方法

说明书

技术领域

本发明涉及一种人机互动技术，具体涉及一种可用于任意普通墙面的人机互动系统。

背景技术

人机交互界面作为一个独立的、重要的研究领域是全世界电脑厂商一直关注的重点，并且它也成为近年来计算机行业众多商家竞争的又一块新的领域。计算机技术和人机交互界面技术的发展也同时引导了与其相关的软硬件技术的发展。上世纪90年代以来，计算机的软、硬件技术都取得了较快的发展，与此同时，计算机也进入了寻常百姓家，家家都有计算机，这要求了用户界面在系统设计和软件开发中有较高的用户体验。因此，触控与体感控制技术也应运而生。毫无疑问，作为虚拟现实技术和动作捕捉技术的一种新形式，体感传感器的触控技术在未来有着广阔的发展前景和应用途径，这会是传统的多媒体通信技术的进化和升级，它将不仅仅改变的是交流形式，更改变的是一种传播理念。它还可以利用新奇的视觉效应和精彩的动感效应将信息传播与互动用户放在一起，互动者在感受互动并且操控虚拟画面的整个过程中很自然地接受了画面中传递出的元素与信息，显然这种内在吸引力轻而易举的就能占据用户的内心，从而是其达到一种互动情感的共鸣。当前，体感控制属于多通道、多媒介智能人机交互技术阶段，在人们渐渐接受计算机和计算机不断适应人类的一整套交互过程中，体感交互技术有了更加新奇的手段：指尖的微小动作、空气中振动的声波等都可以完成信息传播，实现人与电脑之间的互动。

但是目前体感控制技术一般都是与屏幕（例如拼接屏幕）相联系的，如果能够将其扩展到任意普通墙面，实现人与任意墙面的互动，将能使传播形式更加丰富多彩。

发明内容

本发明的发明目的是提供一种基于3D传感器定位技术的人机互动系统，通过对使用者的即时动态捕捉，并对使用者的外部动作做出精确感应，实现基于任意墙面的触控与体感控制。本发明的另一个目的是提供一种基于该系统的人机互动方法。

为达到上述发明目的，本发明采用的技术方案是：一种基于3D传感器定位技术的人机互动系统，包括控制主机、传感器、互动平面和控制软件，所述传感器为包括红外线摄像头和彩色摄影头的3D传感器，所述互动平面为普通墙面；设有投影装置，所述投影装置照射在所述互动平面上；设有红外笔，所述红外笔由使用者操控并照射在所述互动平面上。

一种基于3D传感器定位技术的人机互动方法，包括下列步骤：

(1) 对3D传感器进行几何校准；

(2) 创建互动区域：

将一墙面确定为互动平面，设置投影装置，使投影图像投射到所述互动平面上，形成互动桌面，设置3D传感器，使红外线摄像头和彩色摄像头覆盖整个互动桌面，所述红外线摄像头和彩色摄像头具有对应的坐标系；进行投影装置和3D传感器的几何映射关系校准，获得图像的映射变换矩阵；

(3) 使用者用红外笔照射互动平面，构成对互动平面的触摸事件，采用红外线摄像头获取互动平面上的红外图像，同时采用彩色摄像头获取实际互动画面，利用步骤(2)获得的映射变换矩阵，获得互动操作的红外笔的坐标位置，并获取使用者的手势；

(4) 根据步骤(3)获得的红外笔的触摸操作和/或使用者的手势，对投影内容进行控制；

(5) 重复步骤(3)、(4)，实现人机互动。

上述技术方案中，步骤(2)中，图像的映射变换矩阵的获取方法是：

(a) 构建摄像头成像模型：

在摄像头坐标系中，Q(X_c, Y_c, Z_c)为互动面反射点，Q(X_c, Y_c, Z_c)在成像平面上形成一个二维坐标点q(X_u, Y_u)，f为摄像头焦距，则，；

(b) 构建投影装置成像模型：

在投影装置坐标系中，(X_p, Y_p, Z_p)为投影点的三维坐标，(X_g, Y_g)为其在投影平面上的二维投影坐标，为投影装置焦距；