[发明专利]基于图像的三维建模方法、装置、电子设备及存储介质

权利要求书

1.一种基于图像的三维建模方法，其特征在于，包括：

获取第一终端设备拍摄目标对象的第一图像以及第二终端设备拍摄所述目标对象的多张第二图像；其中，所述第一图像为所述目标对象的全景图，所述第二图像为所述目标对象的非全景图；

根据所述第一图像、每张所述第二图像获取所述第一终端设备的多个相机位姿；

根据多个所述相机位姿生成所述第一终端设备的目标位姿；

根据所述目标位姿、所述第一图像生成所述目标对象的三维坐标，并根据所述三维坐标对所述目标对象进行三维建模。

2.根据权利要求1所述的基于图像的三维建模方法，其特征在于，在所述生成所述第一图像与每张所述第二图像之间的基础矩阵之前，还包括：

获取预先训练好的生成式对抗网络；其中，所述生成式对抗网络包括鱼眼图像判别模型和第一鱼眼图像矫正模型；

根据所述第一鱼眼图像矫正模型构建第二鱼眼图像矫正模型；其中，所述第一鱼眼图像矫正模型为教师模型，所述第二鱼眼图像矫正模型为学生模型；

根据所述第一鱼眼图像矫正模型对所述第二鱼眼图像矫正模型进行知识蒸馏，得到蒸馏后的第二鱼眼图像矫正模型；

根据蒸馏后的所述第二鱼眼图像矫正模型分别对所述第一图像、所述第二图像进行畸变矫正，得到矫正后的所述第一图像以及所述第二图像。

3.根据权利要求2所述的基于图像的三维建模方法，其特征在于，在所述获取预先训练好的生成式对抗网络之前，还包括：

采用鱼眼相机的内参数、畸变系数对训练图像进行处理，得到畸变后的所述训练图像；

根据所述训练图像、畸变后的所述训练图像对所述生成式对抗网络进行训练，得到训练后的所述生成式对抗网络。

4.根据权利要求1所述的基于图像的三维建模方法，其特征在于，所述根据所述第一图像、每张所述第二图像获取所述第一终端设备的多个相机位姿，包括：

分别对所述第一图像、每张所述第二图像进行特征检测，得到所述第一图像的第一特征信息以及每张所述第二图像的第二特征信息；

将所述第一图像的第一特征信息分别与每张所述第二图像的第二特征信息进行特征匹配，得到所述目标对象的特征点分别在所述第一图像中的第三特征信息以及在每张所述第二图像中的第四特征信息；

根据所述第三特征信息、所述第四特征信息生成所述第一终端设备的多个相机位姿。

5.根据权利要求4所述的基于图像的三维建模方法，其特征在于，所述分别对所述第一图像、每张所述第二图像进行特征检测，得到所述第一图像的第一特征信息以及每张所述第二图像的第二特征信息，包括：

确定目标对象分别在所述第一图像、每张所述第二图像中的关键点；

根据所述关键点分别在所述第一图像、每张所述第二图像中进行特征提取，得到所述第一特征信息以及所述第二特征信息。

6.根据权利要求5所述的基于图像的三维建模方法，其特征在于，所述确定目标对象分别在所述第一图像、每张所述第二图像中的关键点，包括：

将所述第一图像、每张所述第二图像转化为灰度图像，并利用高斯差分算法对所述灰度图像进行处理，得到每个像素点的DOG值；

基于所述DOG值，获取所述第一图像、每张所述第二图像中的关键点；其中，所述关键点的DOG值为其所有相邻像素点的最大值或最小值。

7.根据权利要求5所述的基于图像的三维建模方法，其特征在于，所述根据所述关键点分别在所述第一图像、每张所述第二图像中进行特征提取，得到所述第一特征信息以及所述第二特征信息，包括：

将所述第一图像、每张所述第二图像分割成多个图像块；

将所述关键点分别与每个所述图像块进行匹配，得到与所述关键点对应的图像块；

对与所述关键点对应的图像块进行特征提取，得到所述第一特征信息以及所述第二特征信息。