[发明专利]基于红外相机的平面触摸方法

权利要求书

1.一种基于红外相机的平面触摸方法，其特征在于，包括：

步骤1、在触摸区域内安装一个或多个1/4锥激光器，至少一个红外相机和投影仪；

步骤2、对于触摸区域内的任意测量点，通过红外相机拍摄一张红外图像；

步骤3、对红外图像进行透视变换校准；

步骤4、将校准的图像进行二值化处理后，查找外轮廓得到外接矩形以及外接矩形左上、右下坐标点；

步骤5、将步骤4中外接矩形中的图像输入深度学习模型，输出触摸点中心相对于输入图像坐标的偏移量，将相对坐标变换到触摸平面，得到精准的触摸点坐标；

步骤6、将触摸点坐标输入滤波器进行追踪，平滑运动中的坐标；

步骤7、将平滑后的物理坐标转换到投影仪平面，得到红外图像中的触摸点坐标与投影仪平面之间的像素坐标映射关系。

2.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述1/4锥激光器被安装到触摸平面上使得激光器可以横切整个触摸平面，当有触摸物体与激光平面相交时，红外相机朝向触摸平面拍摄触摸及触摸移动得到红外图像，其中1/4锥激光器使用1/4个镜面锥，激光垂直入射，将激光转换为以锥镜中心为圆点、90度范围的平行激光，用于照亮触摸点。

3.根据权利要求1或2所述的基于红外相机的平面触摸方法，其特征在于，所述红外相机被配置具有与1/4锥激光器中的激光波段相同的窄带滤波片。

4.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述对红外图像进行透视变换校准的具体处理包括：

（1）向触摸区域内投射一个矩形，已知矩形的四个顶点坐标pts1；

（2）分别触摸平面内矩形的四个顶点，从红外相机中读取四个相机平面内的触摸点的坐标pts2；

（3）将pts1和pts2做透视变换,获取透视变换矩阵M；

（4）将步骤2得到的红外图像按照透视变换矩M变换为新的图像img，透视变换校准结束。

5.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述步骤4的二值化处理和轮廓查找的具体处理包括：

首先，将图像作为一个[h, w, 1]的一个二维矩阵，将图像像素值大于0的部分设置为1，等于0的部分设置为0，完成二值化；

然后，对二值化后的图像进行亮点，即局部响应区域的轮廓查找并外接轮廓的外接矩形，获得外接矩形的左上、右下顶点坐标值。

6.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述步骤5中，使用下述方式进行精准坐标变换：

精准坐标

精确坐标表示实际触摸位置对应的点精确地对应映射到全局红外图像中的位置对应的点的坐标，其中前述步骤通过二值化轮廓外接矩形左上顶点和右下顶点坐标值，即左上顶点(left，top)，右下顶点 (right，down)，从红外图像img中裁剪下crop_img，将crop_img输入深度学习模型进行相对坐标预测，预测出相对于crop_img红外图像的触摸点坐标（dx,dy）；

然后将触摸点坐标（dx, dy）进行坐标转换到全局红外图像中得到，由此得到触摸点的精准坐标。

7.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述滤波器为卡尔曼滤波。

8.根据权利要求1所述的基于红外相机的平面触摸方法，其特征在于，所述深度学习模型使用resnet作为模型的主干，使用MSE求预测值与标注点的误差值，误差值反向传播使用梯度下降法迭代模型，最终使得预测值与标注点的数值相近，由此得到深度学习模型。

9.根据权利要求6所述的基于红外相机的平面触摸方法，其特征在于，在步骤7中，通过 两次齐次变换，将触摸平面内的点坐标转换到投影仪平面，具体包括：

其中，变换分为两步进行，第一步将crop_img红外图像下触摸平面的点的直角坐标系经过计算旋转平移变换到红外图像坐标系内，由此得到，由于投影仪和红外图像中的点不属于同一个坐标系，再将红外图像坐标系转换到投影平面坐标系，由此得到；

其中，前述齐次变换过程的参数含义如下：

表示在crop_img红外图像下触摸平面的点，表示红外图像坐标系内的点，表示在投影平面坐标系的点；

表示从触摸平面到红外平面的变换矩阵， 表示从红外平面到投影平面的变换矩阵。