[发明专利]一种虚拟视点的全景特写拼接系统及其方法

权利要求书

1.一种虚拟视点的全景特写拼接方法，其特征在于：包括以下步骤：

S1.以全景相机拍摄的图像作为基准图，并通过安装在相机上的深度传感器获取图像深度信息，根据相机标定求出全景相机内外参数，即全景成像平面的内外参数；

S2.根据用户特写要求，确定虚拟相机的外参，即虚拟成像平面的外参数，并计算得到全景相机与虚拟相机的单应变换关系矩阵，来确立全景成像平面和虚拟成像平面的图像映射关系；

S3.用户选定感兴趣区域，根据单应变换关系矩阵，对图像进行放大融合，得到感兴趣区域高质量的聚焦融合图像；

S4.采用双线性插值法填补融合图像的空洞，得到不损失原始图像信息的无缝高质量融合图像；

所述的步骤S1包括以下子步骤：

S11.利用相机成像原理，得出三维坐标中实际物体的坐标A_w，A_w为(x_w，y_w，z_w)^T与全景成像平面物体成像的坐标(u，v)^T的变换关系：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；

S12.利用拍摄带有确定标定版信息的图像进行相机标定,求出全景相机的内外参数M₁和M₂。

2.根据权利要求1所述的一种虚拟视点的全景特写拼接方法，其特征在于：所述的步骤S2包括以下子步骤：

S21.三维坐标中实际物体的坐标为A_w(x_w，y_w，z_w)^T，设该实际物体在全景成像平面上的坐标为(u,v)^T，设该实际物体在虚拟成像平面上的坐标为(u′，v′)^T，则：

式中，z_c表示在全景成像平面中实际物体坐标的Z轴分量，M₁为全景相机的内参数，M₂为全景相机的外参数；z′_c表示在虚拟成像平面中实际物体坐标的Z轴分量，M′₁为虚拟相机的内参数，M′₂为虚拟相机的外参数；

S22.设全景成像平面与虚拟成像平面的单应变换关系矩阵为H，则可知：

结合步骤S21中的到的两个公式，可以得到单应变换关系矩阵为H的表达式：

式中，M₁和M₂在步骤S1中已经求得，M′₁实际上与M₁相同，根据用户特写要求，设定虚拟相机外参数M′₂，即可以求出全景成像平面与虚拟成像平面的单应变换关系矩阵H，为投影深度比，深度信息由安装在全景相机上的深度传感器在拍摄基准图时获取。

3.根据权利要求2所述的一种虚拟视点的全景特写拼接方法，其特征在于：所述的步骤S3包括以下子步骤：

S31.用户选定感兴趣区域；

S32.根据步骤S22中的到的单应变化关系矩阵H，将全景成像平面图像中的用户感兴趣区域每一个像素点p(x,y)^T，映射到虚拟成像平面上对应的像素点p′(x′，y′)^T，得到感兴趣区域高质量的聚焦融合图像，映射对应关系为