[发明专利]基于投影图像的触控定位控制方法

权利要求书

1.基于投影图像的触控定位控制方法，其特征在于，采用交互式触控投影系统进行控制；所述交互式触控投影系统包括计算机、投影仪和摄像装置；其中，投影仪连接计算机的显示输出端，用于对计算机的显示画面进行投影；摄像装置连接计算机的数据输入端，用于采集包含有计算机显示画面投影影像区域的视频图像，并将采集的视频图像实时传输给计算机；计算机用于运行触控操作应用程序并显示输出触控操作画面，根据视频图像中指定的控制点位置，对触控操作画面中执行触控操作的位置进行控制；该方法具体包括如下步骤：

1）通过测量投影仪投影的计算机显示画面投影影像区域的实际尺寸，确定计算机显示画面投影影像区域的世界坐标区域，在计算机中建立计算机显示输出的显示画面坐标域与投影仪投影的计算机显示画面投影影像世界坐标区域之间的坐标对应转换关系，作为显示画面坐标-投影世界坐标转换模型记录在计算机中；

2）控制计算机显示由若干黑色、白色矩形块交错相邻拼接形成的棋盘格图案，由投影仪对计算机的显示画面进行投影；

3）将投影仪投影的棋盘格图案作为棋盘格标定模板，利用摄像装置从多个不同拍摄角度抓取棋盘格标定模板的图像，采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置的内部参数和畸变系数，并保存在计算机中；

4）保持计算机的显示状态和投影仪的投影状态不变，将投影仪投影的棋盘格图案作为棋盘格标定模板，设定摄像装置的拍摄位置，抓取棋盘格标定模板的图像，由计算机利用保存的畸变系数对抓取的棋盘格标定模板的图像进行畸变校正；

5）利用畸变校正后的棋盘格标定模板的图像以及计算机保存的内部参数，再次采用基于OpenCV的摄像机标定方法对摄像装置进行标定，得到摄像装置在设定的拍摄位置状态下的旋转矩阵和平移矩阵；

6）计算机根据保存的内部参数以及设定的拍摄位置状态下的旋转矩阵和平移矩阵，得到设定的拍摄位置状态下投影仪投影的计算机显示画面投影影像的世界坐标区域与畸变校正后的视频图像的像素坐标域之间的坐标对应转换关系，作为投影世界坐标-视频像素坐标转换模型记录在计算机中；

7）计算机运行触控操作应用程序并显示输出触控操作画面，由投影仪对计算机的显示画面进行投影，由摄像装置在设定的拍摄位置实时采集包含有计算机显示画面投影影像区域的视频图像并传输给计算机，由计算机利用保存的畸变系数对视频图像进行畸变校正；

8）在投影仪投影的计算机显示画面投影影像区域内指定控制点位置；

9）计算机根据投影世界坐标-视频像素坐标转换模型，计算出畸变校正后的视频图像中在计算机显示画面投影影像区域内指定的控制点位置的像素坐标所对应的投影影像世界坐标，再根据显示画面坐标-投影世界坐标转换模型，计算出该投影影像世界坐标对应的显示画面坐标，并按照该显示画面坐标确定计算机显示输出的触控操作画面中执行触控操作的位置，控制触控操作应用程序执行相应的触控操作任务。

2.根据权利要求1所述基于投影图像的触控定位控制方法，其特征在于，所述投影世界坐标-视频像素坐标转换模型为：

wx^wy^w=fx0cx0fycy001[RP]XYZ1;]]>

其中，(X,Y,Z)表示投影仪投影的计算机显示画面投影影像的世界坐标，X、Y和Z分别为所述世界坐标的横坐标值、纵坐标值和径向坐标值；表示畸变校正后的视频图像的像素坐标，和分别为畸变校正后视频图像的列像素坐标值和行像素坐标值；w表示摄像装置成像的景深参数，且w=Z；c_x和c_y分别表示摄像机成像的横向偏移量和纵向偏移量；f_x和f_y分别表示摄像装置成像的横向焦距参数和纵向焦距参数；为摄像装置成像的旋转矩阵，其中，表示摄像装置成像在横向的旋转向量，表示摄像装置成像在纵向的旋转向量，表示摄像装置成像在径向的旋转向量；为摄像装置成像的平移矩阵，p_x、p_y、p_z分别表示摄像装置成像在横向、纵向、径向的平移量。