[发明专利]图像拼接及全景图拼接方法和装置、存储介质、电子设备

说明书

本公开实施例公开了一种图像拼接及全景图拼接方法和装置、存储介质、电子设备，其中，方法包括：基于第一图像和第二图像确定初始映射矩阵；其中，所述第一图像和所述第二图像之间存在部分重叠；基于所述第一图像、所述第二图像和所述初始映射矩阵，确定目标映射矩阵；基于所述目标映射矩阵对所述图像序列中的所述第一图像和所述第二图像进行拼接；本实施例通过第一图像和第二图像对初始映射矩阵进行调整，获得的目标映射矩阵更准确，并且更具鲁棒性。

技术领域

本公开涉及图像拼接技术领域，尤其是一种图像拼接及全景图拼接方法和装置、存储介质、电子设备。

背景技术

现有技术中，对于将图像进行全景拼接大多采用基于特征的全景拼接，即，用户在一个点位环形拍摄一圈图像序列，在拼接过程中，通过图像中的特征点，直接确定图像直接的映射矩阵，并基于映射矩阵进行图像融合生成全景图。

现有技术的图像拼接过程依赖于图像的特征点数量以及图像之间特征点匹配正确率，但是在图像中的特征较少、特征集中在图像的局部区域，或特征匹配正确率较低等情况下，难以准确地恢复图像之间的变换关系。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种图像拼接及全景图拼接方法和装置、存储介质、电子设备。

根据本公开实施例的一个方面，提供了一种图像拼接方法，包括：

基于第一图像和第二图像确定初始映射矩阵；其中，所述第一图像和所述第二图像之间存在部分重叠；

基于所述第一图像、所述第二图像和所述初始映射矩阵，确定目标映射矩阵；

基于所述目标映射矩阵对所述图像序列中的所述第一图像和所述第二图像进行拼接。

可选地，所述基于第一图像和第二图像确定初始映射矩阵，包括：

分别对所述第一图像和所述第二图像进行特征提取，得到第一特征点集和第二特征点集；其中，所述第一特征点集包括多个第一特征点，所述第二特征点集包括多个第二特征点；

基于所述第一特征点集和所述第二特征点集中包括的多对特征点对，确定所述初始映射矩阵；其中，每对所述特征点对包括存在对应关系的所述第一特征点和所述第二特征点。

可选地，所述基于所述第一特征点集和所述第二特征点集中包括的多对特征点对，确定所述初始映射矩阵，包括：

基于所述第一特征点集中每个第一特征点的描述子与所述第二特征点集中每个第二特征点的描述子之间的距离，确定所述多对特征点对；

基于所述多对特征点对中的每对特征点对之间的映射关系，确定所述初始映射矩阵。

可选地，所述基于所述第一图像、所述第二图像和所述初始映射矩阵，确定目标映射矩阵，包括：

利用所述初始映射矩阵将所述第一图像映射到所述第二图像所在的图像空间，得到第一映射图像；

确定所述第一映射图像和所述第二图像的重叠区域作为感兴趣区域；

基于所述感兴趣区域、所述第一图像和所述第二图像，确定所述目标映射矩阵。

可选地，所述利用所述初始映射矩阵将所述第一图像映射到所述第二图像所在的图像空间，得到第一映射图像，包括：

利用所述初始映射矩阵将所述第一图像映射到所述第二图像所在的图像空间，得到所述第一图像中多个像素对应的多个映射像素；

对所述多个映射像素进行双线性插值处理，得到所述第一映射图像。

可选地，所述基于所述感兴趣区域、所述第一图像和所述第二图像，确定所述目标映射矩阵，包括：