[发明专利]一种基于红外摄像机-可见光投影仪的人机交互系统及装置

权利要求书

1.基于红外摄像机-可见光投影仪的人机交互系统的交互方法，其特征在于，包括以下步骤：

人机交互系统包括计算装置、可见光投影仪、红外LED灯、双目立体视觉系统、可见光摄像机、标定装置和投影面；所述双目立体视觉系统由相对设置的左红外摄像机和右红外摄像机构成，用于采集目标的三维数据；所述红外LED灯设置在左红外摄像机和右红外摄像机之间，红外LED灯、左红外摄像机和右红外摄像机用于减少环境光和投影光的干扰；所述可见光摄像机辅助标定双目立体视觉系统，得到左红外摄像机坐标系、右红外摄像机坐标系和可见光投影仪坐标系之间的转换关系；利用左红外摄像机和右红外摄像机识别出预先定义的手势，在可见光投影仪中实现相对应的响应，实现人机交互；

第一步，标定系统参数：设置人机交互系统；

1)对左红外摄像机、右红外摄像机和可见光摄像机分别进行单摄像机标定空间中任何一点P_W从三维空间到摄像机的二维图像平面可以用针孔摄像机模型近似表示，即任何点P_W在图像中的投影位置p为光心c和点P_W的连线cP_W与图像平面的交点，此种关系也称为透视投影；

设M为透视投影矩阵，设空间中任意一个三维点P_W在世界坐标系中的坐标为(x_W,y_W,z_W)，其在摄像机坐标系中的坐标为(x_c,y_c,z_c)，其投影到摄像机的图像平面坐标系中的坐标为(x,y)，其投影到摄像机的图像像素坐标系中的坐标为(u,v)；

由光学成像原理以及点P_W在摄像机坐标系和图像平面坐标系的投影关系可得：

式中：(x,y)为空间点P_W的图像平面坐标系坐标，(x_c,y_c,y_c)为空间点P_W的摄像机坐标系坐标，f为光心到成像平面的距离，称为摄像机的焦距；

由坐标变换关系可得图像平面坐标系和图像像素坐标系的关系式：

式中：(u,v)为图像像素坐标系中的坐标，(u₀,v₀)为主点坐标，(x,y)为摄像机坐标系中的坐标，dx和dy分别为每一个像素在x轴和y轴方向上的物理尺寸；

则由此可得透视投影关系：

m'＝Mw'

式中：m'和w'分别为P_W点的投影点齐次坐标和世界齐次坐标；

则透视投影矩阵M可分解为：

M＝A[R T]；

式中：R是旋转矩阵，T是平移向量，它们组成摄像机的外部参数矩阵；

A为摄像机矩阵，包含了摄像机的内部参数信息：

式中：f/dx，f/dy分别为以垂直和水平像素单位表示的焦距长度，(u₀,v₀)为主点坐标即光轴与成像平面的交点，γ为图像中两条坐标轴的倾斜因子；通过标定板的已知信息可以求取摄像机的内部参数；

要完成空间点从世界坐标系向图像坐标系的转换，就要已知上述公式中的所有未知量，A和B分别表示内参矩阵和外参矩阵；其中，s_x，s_y，c_x，c_y和f是摄像机的内部参数，称作摄像机内参；

2)对左红外摄像机和右红外摄像机进行双目标定：

双目立体视觉系统利用视差原理，根据光学三角法获取被测物体的深度信息；最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系，O₁x_wy_wz_w与左红外摄像机坐标系重合，y_w垂直纸面；C₁U₁V₁是左摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度；一空间点P的世界坐标为(x_W,y_W,z_W)，P在左红外摄像机和右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)；由于左红外摄像机和右红外摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x

式中：

s_x——x方向的缩放比例因子；

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标；

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能重构出空间点的三维坐标；

通过上述公式，可以得到R＝R(α，β，γ)和T＝(t_x,t_y,t_z)^T，即摄像机在世界坐标系中的位姿，称作摄像机外参；

3)对红外摄像机和可见光摄像机进行双目标定：

与2)同理，可以得到红外摄像机和可见光摄像机之间的外参；

4)对可见光投影仪和可见光摄像机进行标定：

为投影仪建立一个与摄像机类似的数学模型，采用小孔成像模型作为投影仪的数学模型，投影仪是基于同样的高到四阶的径向和切向镜头畸变的透视投影；世界坐标系(WCS)中的一点，P_W＝[X Y Z]^T，且它有在投影仪坐标系中的坐标P＝[x y z]^T；

从P_W到P的变换是一个刚体变换，可表示为：

P＝RP_W+T

式中：R和T分别为旋转矩阵和平移矩阵；

定义P_n为点P在归一化图像平面上的投影，归一化图像平面平行于图像平面且是到镜头中心O的距离是单位距离；然后，P_n能被写成：

考虑到径向和切向镜头畸变对P_n的影响，有在归一化图像平面上的畸变投影P_d；

式中：r²＝x²+y²，并且K＝[k₁ k₂ k₃ k₄]，r²和K是镜头畸变系数在右边的最后两项分别代表径向和切向镜头畸变；

然后，在图像平面上的投影P_i能表示如下：

式中：f_u和f_v分别水平方向和垂直方向上的焦距，u₀和v₀是主点坐标；

投影仪模型能表示如下：

P_i＝g(P_W,Θ)

式中：g(·)描述了从世界坐标系到图像平面的成像过程，

Θ＝[R T f_u f_v u₀ v₀ K]；

5)红外摄像机和可见光投影仪的标定：

利用3)4)得到的左红外摄像机和第二可见光摄像机，以及第二可见光摄像机和可见光投影仪之间的位姿转换关系，计算出红外摄像机和可见光投影仪之间的位姿转换关系，完成红外摄像机和可见光投影仪的标定；

第二步，信息获取：

包括计算装置、可见光投影仪、红外LED灯、左红外摄像机、右红外摄像机和投影面；

在红外LED照明条件下，用左红外摄像机和右红外摄像机同时对被测目标进行采集，利用第一步的标定参数对目标进行双目立体重建，得到三维信息；

双目立体视觉利用视差原理，根据光学三角法获取被测物体的深度信息；最简单的双目立体视觉系统，O₁x_wy_wz_w是世界坐标系，O₁x_wy_wz_w与左红外摄像机坐标系重合，y_w垂直纸面；C₁U₁V₁是左红外摄像机成像平面坐标系，V₁垂直于纸面，C₂U₂V₂是右红外摄像机成像平面坐标系，V₂垂直于纸面；f是主距，b是基线长度；一空间点P的世界坐标为(x_W,y_W,z_W)，P在左红外摄像机、右红外摄像机成像平面中的坐标分别为P₁(u₁,v₁)和P₂(u₂,v₂)；由于摄像机处在标准的双目立体视觉系统下，则v₁＝v₂＝h，根据相似三角形可得：

令d_w＝u₂-u₁，则P的三维世界空间坐标：

由于主点是以像素为单位的，而d_w的单位是世界单位，因此需要通过使用x方向上的像素尺寸缩放d_w，将其转换到像素坐标下：

d_p＝d_w/s_x；

式中：

s_x——x方向的缩放比例因子；

而在图像坐标系中：

d_p＝(c_c1-c_c2)+(c₂-c₁)；

式中：

c_c1,c_c2——主点在图像坐标系下的列坐标；

c₁,c₂——点P₁和P₂在图像坐标系下的列坐标；

由于c_c1-c_c2对所有点都是常量，且通过摄像机标定及校正就可以得到，因此，P的世界坐标是与d＝c₂-c₁相关的，这个差值d就是左、右图像的视差；因此，只要找出左、右图像中的匹配点，获取视差图，再经摄像机标定外参，就能以左红外摄像机为参照系重构出空间点的三维坐标；

第三步，人机交互：

利用第一步5)得到的左红外摄像机和可见光投影仪的标定参数，将重建得到的三维数据转到投影仪坐标系下，获得其对应的投影位置，根据定义好的控制指令实现与投影仪的交互功能。