[发明专利]一种虚拟视点的全景特写拼接系统及其方法

摘要

本发明公开了一种虚拟视点的全景特写拼接系统及其方法，所述系统包括全景相机和图像拼接模块；所述的全景相机为带有深度传感器的全景相机；全景相机的输出端与图像拼接模块连接；所述的图像拼接模块包括全景相机内外参数计算单元、映射矩阵计算单元、图像放大融合单元和图像空洞填补单元；所述方法包括相机内外参数计算步骤S1、映射矩阵计算步骤S2、图像放大融合步骤S3和图像空洞填补步骤S4。本发明提供了一种虚拟视点的全景特写拼接系统及其方法，有效的处理全景拼接中虚拟视点的位置、图像信息、单应矩阵、图像融合等问题，保证拼接之后的图像质量。

主权项

1.一种虚拟视点的全景特写拼接方法，其特征在于：包括以下步骤：S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图像映射关系；S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感兴趣区域高质量的聚焦融合图像；S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像；所述的步骤S1包括以下子步骤：S11.利用相机成像原理，得出三维坐标中实际物体的坐标Aw，Aw为(xw，yw，zw)T与全景成像平面物体成像的坐标(u，v)T的变换关系：式中，zc表示在全景成像平面中实际物体坐标的Z轴分量，M1为全景相机的内参数，M2为全景相机的外参数；S12.利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M1和M2。