[发明专利]一种基于3D传感器定位技术的人机互动系统及方法

权利要求书

1.一种基于3D传感器定位技术的人机互动系统，包括控制主机、传感器、互动平面和控制软件，其特征在于：所述传感器为包括红外线摄像头和彩色摄影头的3D传感器，所述互动平面为普通墙面；设有投影装置，所述投影装置照射在所述互动平面上；设有红外笔，所述红外笔由使用者操控并照射在所述互动平面上。

2.一种基于3D传感器定位技术的人机互动方法，其特征在于，包括下列步骤：

(1) 对3D传感器进行几何校准；

(2) 创建互动区域：

将一墙面确定为互动平面，设置投影装置，使投影图像投射到所述互动平面上，形成互动桌面，设置3D传感器，使红外线摄像头和彩色摄像头覆盖整个互动桌面，所述红外线摄像头和彩色摄像头具有对应的坐标系；进行投影装置和3D传感器的几何映射关系校准，获得图像的映射变换矩阵；

(3) 使用者用红外笔照射互动平面，构成对互动平面的触摸事件，采用红外线摄像头获取互动平面上的红外图像，同时采用彩色摄像头获取实际互动画面，利用步骤(2)获得的映射变换矩阵，获得互动操作的红外笔的坐标位置，并获取使用者的手势；

(4) 根据步骤(3)获得的红外笔的触摸操作和/或使用者的手势，对投影内容进行控制；

(5) 重复步骤(3)、(4)，实现人机互动。

3.根据权利要求2所述的基于3D传感器定位技术的人机互动方法，其特征在于：步骤(2)中，图像的映射变换矩阵的获取方法是：

(a) 构建摄像头成像模型：

在摄像头坐标系中，Q(X_c, Y_c, Z_c)为互动面反射点，Q(X_c, Y_c, Z_c)在成像平面上形成一个二维坐标点q(X_u, Y_u)，f为摄像头焦距，则，；

(b) 构建投影装置成像模型：

在投影装置坐标系中，(X_p, Y_p, Z_p)为投影点的三维坐标，(X_g, Y_g)为其在投影平面上的二维投影坐标，为投影装置焦距；

(c) 利用空间坐标系平移旋转得到坐标变换表达式，通过仿射变换，在确定三个特征点的基础上，得到图像的映射变换矩阵。