[发明专利]全景图生成方法、装置、计算机可读存储介质及电子设备

说明书

本公开实施例公开了一种全景图生成方法和装置，其中，该方法包括：获取用于生成全景图的至少两个图像序列；基于至少两个图像序列的拍摄方式，确定至少两个图像序列中的有效图像，并确定有效图像之间的连接关系；确定相机的内参；基于内参和连接关系，确定有效图像对应的相机姿态角；基于相机姿态角，将有效图像映射至以相机为中心的映射面，得到全景图。本公开实施例可以根据不同用户的习惯，采用不同方式生成大视场角的全景图，提高了生成全景图的灵活性和效率。

技术领域

本公开涉及计算机技术领域，尤其是一种全景图生成方法、装置、计算机可读存储介质及电子设备。

背景技术

目前，全景图被广泛地应用于VR场景。在一些领域，诸如地图、房屋租赁、室内装修等领域，使用全景图可以以近似实景的方式向用户展示周围的环境。同时全景图包含了大量的场景信息，能有效地应用于深度图估计算法。

在全景图的拍摄过程中，通常需要用户手持相机原地以竖直方向为轴旋转一周，因此，拍摄的全景图的垂直方向的视场角有限。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种全景图生成方法、装置、计算机可读存储介质及电子设备。

本公开的实施例提供了一种全景图生成方法，该方法包括：获取用于生成全景图的至少两个图像序列，其中，至少两个图像序列包括至少一个离散方式拍摄的图像序列；基于至少两个图像序列的拍摄方式，确定至少两个图像序列中的有效图像，并确定有效图像之间的连接关系；确定相机的内参；基于内参和连接关系，确定有效图像对应的相机姿态角；基于相机姿态角，将有效图像映射至以相机为中心的映射面，得到全景图。

在一些实施例中，基于至少两个图像序列的拍摄方式，确定至少两个图像序列中的有效图像，并确定有效图像之间的连接关系，包括：响应于确定至少两个图像序列中的每个图像序列为横向离散方式拍摄得到的，对于至少两个图像序列中的每个图像序列，确定图像序列中的每个图像为有效图像，并通过特征提取与特征匹配确定图像序列中的图像之间的连接关系。

在一些实施例中，基于相机姿态角，将有效图像映射至以相机为中心的映射面，得到全景图，包括：调整竖直方向排列的图像的偏航角至一致；对于至少两个图像序列中的每个图像序列，基于图像序列中的每个图像的调整偏航角后的相机姿态角，将图像序列中的每个图像映射至映射面，得到图像序列对应的子全景图。确定所得到的各个子全景图的特征；基于各个子全景图的特征，合并各个子全景图，得到最终的全景图。

在一些实施例中，基于至少两个图像序列的拍摄方式，确定至少两个图像序列中的有效图像，并确定有效图像之间的连接关系，包括：响应于确定至少两个图像序列中的每个图像序列为纵向离散方式拍摄得到的，对于至少两个图像序列中的每个图像序列，确定图像序列中的目标图像与其他图像之间的映射关系；基于映射关系，将其他图像融合至目标图像，得到图像序列对应的融合图像作为有效图像；通过特征提取与特征匹配确定所得到的各个融合图像之间的连接关系。

在一些实施例中，基于相机姿态角，将有效图像映射至以相机为中心的映射面，得到全景图，包括：对于各个融合图像中的每个融合图像，将融合图像映射至映射面，得到融合图像对应的子全景图；确定所得到的各个子全景图的特征；基于各个子全景图的特征，合并各个子全景图，得到最终的全景图。

在一些实施例中，基于至少两个图像序列的拍摄方式，确定至少两个图像序列中的有效图像，并确定有效图像之间的连接关系，包括：响应于确定至少两个图像序列中的第一图像序列为横向离散方式拍摄得到的，且其他图像序列为横向连续方式拍摄得到的，确定第一图像序列包括的每个图像为有效图像；并通过特征提取与特征匹配确定第一图像序列中的每个图像之间的连接关系；对于其他图像序列中的每个图像序列，确定图像序列中的关键帧图像为有效图像，并通过特征提取与特征匹配确定关键帧图像与间图像序列之间的连接关系。