[发明专利]一种基于移动终端前置摄像头的多终端屏幕自动拼接方法

说明书

本发明是一种基于移动终端前置摄像头的多终端屏幕自动拼接方法，该方法首先针对每个移动终端的前置摄像头进行相机标定从而获得每个摄像机的内参数；其次采用精确的测量方法确定移动终端屏幕与其前置摄像头的空间关系；然后在线过程中，通过相机标定的方法获得每个前置摄像头相对于同一个外部标记物的外参数；最后，结合前置摄像头的外参数和屏幕与前置摄像头的空间关系并考虑每个终端屏幕的分辨率确定最终的显示区域。本发明的特点是提出了一种采用移动终端前置摄像头的基于计算机视觉的自动的多屏幕拼接方法，然后将拼接后的更大的屏幕用于内容显示。

技术领域

本发明属于计算机人机交互技术领域。

背景技术

以更清晰的方式向用户提供内容是计算机人机交互领域的一个重要课题。其中，计算机显示屏幕作为向用户提供内容的最主要设备在人机交互领域扮演者重要的角色。随着信息技术的发展，高分辨率的显示设备逐渐进入人们的生活中为用户带来了良好的视觉体验。然而作为计算设备的一个重要分支，手机、平板等移动终端设备在屏幕分辨率这一方面却存在的先天的不足，受限于移动终端设备的尺寸，其分辨率大小相比较于传统的PC有着较大的差距。由于当前的移动终端设备普遍具有移动轻便、显示边框窄小甚至无边框等特点，科研工作者进行了多移动终端屏幕拼接技术方面的研究。但当前的拼接技术在支持异型终端以及显示区域确定方面仍存在有待解决的问题：

(1)支持异型终端方面而言，当前的移动终端的种类多样且不同型号终端在屏幕分辨率、物理尺寸等方面存在着较大的差异，拼接时容易造成内容不连续、存在较大色差等问题，如何克服终端间的差异向用户呈现一个具有良好视觉效果的拼接界面是这一技术的难题。

(2)显示区域确定方面，由于移动终端间所具有的差异性以及多终端拼接时摆放方式的不固定造成了确定显示区域中的难题。如何通过有效的方式精确获取多个移动终端屏幕间的空间关系是确定显示区域的核心内容。为了使得支持的拼接方式尽量多样化，所采用的技术必须能根据实际的情况进行显示区域的实时更新，这又为这一技术提出了新的问题和挑战。

目前存在的研究工作中，大多只支持多个同型号终端间的规则摆放拼接，且需要人为根据终端数量以及拼接方式确定各个终端的显示区域。对于多个异型终端的不规则自动拼接问题，此类方法不能较好地完成拼接任务。

发明内容

本发明的目的：利用当前移动终端所具备的前置摄像头，研究一种基于计算机视觉的自动的多移动终端屏幕拼接方法，有效利用前置摄像头获取移动终端屏幕间的空间关系，构建一个有多个屏幕拼接成的具有较大显示面积的逻辑屏幕，为需要大屏幕显示的一些应用提供基础支持。

本发明提出的基于移动终端前置摄像头的多移动终端屏幕自动拼接方法，其主要步骤如下：

步骤(1)、针对每个移动终端的前置摄像头进行相机标定，从而确定每个前置摄像头的内参数(包括焦距、成像中心等参数)；

步骤(2)、使用精确的测量方法确定移动终端屏幕与其前置摄像头之间的空间关系；

步骤(3)、在线过程中，结合(1)中标定得到的前置摄像头内参数，测量每个移动终端前置摄像头相对于同一个外部标定物的外参数；

步骤(4)、结合(2)中测得的空间关系和(3)中获取的相机外参数，通过无线网络将每台移动终端的这些数据传输到一台服务器进行统一处理，在考虑移动终端不同分辨率的条件下确定每个移动终端最终的显示区域。

进一步的，所述步骤(1)中前置摄像头内参数的标定的具体内容如下：

步骤(A1)、打印一张已知方格边长的棋盘格模板固定于一个平整平板上，固定摄像头的焦距从不同的角度拍摄若干张含完整棋盘格模板的图像；

步骤(A2)、检测出图像中棋盘格的特征点，建立棋盘格模板特征点的实际空间坐标和其图像坐标间的对应关系，带入前置摄像头的成像方程；