[发明专利]共光心拼接方法及其装置

说明书

本发明提供了一种共光心拼接方法及其装置。其中所述方法包括：利用物理拼接调节机构调节共光心图像采集阵列，获得调节后的共光心图像采集阵列；利用调节后的共光心图像采集阵列进行图像采集获得带有标志点的共光心图像；根据共光心图像上标志点粗略确定第一拼接线；利用全景摄像机进行图像采集获得全景图像；将共光心图像与全景图像进行对比获得图像重合度；基于图像重合度在第一拼接线附近精确确定第二拼接线；根据第二拼接线对共光心图像拼接边缘进行裁切获得裁切后共光心图像，并将其按照裁切后的边缘进行拼接获得拼接后共光心图像。本发明的共光心拼接方法有效实现了共光心图像拼接位置的低成本精准确定，解决了图像拼接位置羽化浸染带问题。

技术领域

本发明涉及图像采集处理技术领域，具体地，涉及共光心拼接方法及其装置。

背景技术

随着视频会议高清解决方案的广泛使用，人们对远程办公、视频会议的需求越来越急迫，视频效果已达到720P、1080P乃至4K，但整个会议体验却仍然无法满足客户需求。在大尺寸屏幕逐渐普及的前提下，视频会议行业各厂家纷纷推出远真方案，使得与会者的体验从单纯的视频会议，全面提升到真人1:1图像大小，配合声音定位技术，实现面对面的沉浸式沟通体验。然而由于图像采集受摄像机的物理结构和光学视场角限制，单一的摄像机无法得到一个无缝连续且无畸变的全景图像；而采用多个摄像机拼接又会存在视差问题导致的拼接不连续问题，特别是在较大型的会议室时，坐在前排和后排的与会者存在一个较大的景深，拼接不连续的问题会凸显。

目前的远真系统大多采用数个摄像机，以平行或者汇聚摆放的方式拍摄场景图像。其中主流的摄像机解决方案如图6a和图6b所示。

为了说明为什么目前的远真系统中的摄像机无法得到全景无缝图像，我们考察一个由平行摄像机组成的双摄像机系统，如图7所示。O1和O2分别为两个摄像机的光心。根据光学成像原理可得视差与焦距、光心及景深的关系式为：d＝fB/Z；

其中d为两个图像重叠部分的视差，f为摄像机焦距，B为摄像机光心间距，Z为拍摄景深，汇聚摄像机系统的关系式与之类似。可见，图像的视差和光心间距及景深有关。由于摄像机的光心在摄像机内部，仅靠摄像机位置的摆放无法使两个摄像机的光心间距B为0，因此使用目前远真系统中的摄像机，无法获得一个由多个摄像机图像无缝拼接而来的全景图像。

现有技术中共光心拼接为解决多个摄像机图像无缝拼接全景图像的主要方案，但是共光心拼接由于受镜头光学参数、玻璃折射和物体表面反射的影响，图像拼接位置容易出现羽化的浸染带现象，这个浸染带在拼接中是不能被使用的，因而导致拼接效果变差，无法得到高质量的全景图像。现有技术通常采取的办法是反射镜面上贴偏振片过滤杂光或交界处加异色隔板的方式，再通过后续软件算法裁切掉边缘的办法，这样做不仅损失了部分图像，而且费用比较高。

此外，针对会议中有人站立发言时，远端画面如何完整保留发言者的问题。现有技术通常采用大尺寸图像传感器采集图像后做裁切的方式，或者采用变焦摄像机把图像进行一定比例的缩小以获得更多的图像范围，但这两种方案的成本都偏高。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种共光心拼接方法及其装置，通过在拼接反射镜之间的拼接线上确定标志点，拼接摄像机采集到带有标志点的共光心图像，粗略确定图像拼接位置；再结合全景摄像机采集的全景图像精确校准图像拼接位置，有效实现了共光心图像拼接位置的低成本精准确定，解决了图像拼接位置羽化浸染带问题，获得高质量的共光心全景图像。

第一方面，本发明提供了一种共光心拼接方法，其特征在于，提供共光心拼接装置，其包括共光心图像采集阵列以及用于调节共光心图像采集阵列的物理拼接调节机构，其中所述共光心图像采集阵列包括至少3个拼接摄像机、至少1个全景摄像机以及与所述至少3个拼接摄像机一一对应至少3块拼接反射镜，其中所述拼接反射镜上具有用颜色标记的标志点；所述方法包括：