[发明专利]三维重建方法、装置及增强现实AR设备

权利要求书

1.一种三维重建方法，其特征在于，应用于增强现实AR设备，所述方法包括：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

2.根据权利要求1所述的方法，其特征在于，所述获取当前环境中对象的图像信息，包括：

获取当前环境中对象不同角度的彩色图像数据；

或者，获取当前环境中对象不同角度的彩色图像数据及对应的点云数据。

3.根据权利要求2所述的方法，其特征在于，所述将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，利用得到的三维网格数据，生成所述对象的三维对象模型，包括：

将所述对象的各角度的图像信息依次输入三维重建模型进行转换处理，得到所述对象相应角度下的视觉区域的三维网格数据；

利用得到的所述对象相应角度下的视觉区域的三维网格数据，生成所述对象的所述视觉区域对应的三维对象区域模型；

在得到所述对象下一角度下的视觉区域的三维网格数据后，利用所述对象下一角度下的视觉区域的三维网格数据，更新所述三维对象区域模型，直至得到所述对象各角度下的视觉区域的三维对象区域模型。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

展示所述对象的三维对象模型的生成过程。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。

6.根据权利要求1～5任意一项所述的方法，其特征在于，所述方法还包括：

将所述对象的三维网格数据发送至第二设备进行展示。

7.根据权利要求1～5任意一项所述的方法，其特征在于，所述方法还包括：

将获取的所述对象的不同角度的图像信息发送至第三设备，由所述第三设备基于神经网络算法，对所述对象不同角度的图像信息进行训练，得到所述对象的三维重建模型；

接收所述第三设备反馈的所述三维重建模型。

8.一种三维重建装置，其特征在于，应用于增强现实AR设备，所述装置包括：

图像信息获取模块，用于获取当前环境中对象的图像信息；

图像信息处理模块，用于将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

三维模型生成模块，用于利用得到的三维网格数据，生成所述对象的三维对象模型。

9.一种增强现实AR设备，其特征在于，所述AR设备包括：

固件装置，用于在用户佩戴所述AR设备时，维持所述AR设备与所述用户头部的相对位置关系；

图像采集装置，用于在用户佩戴所述AR设备时，获取当前环境中的对象的图像信息；

存储器，用于存储实现如权利要求1～7任意一项所述的三维重建方法的程序；

处理器，用于加载并执行所述存储器存储的程序，所述程序用于：

获取当前环境中对象的图像信息；

将所述图像信息输入三维重建模型进行转换处理，得到所述对象的三维网格数据，所述三维重建模型是基于神经网络算法，对所述对象不同角度的图像信息进行训练得到的；

利用得到的三维网格数据，生成所述对象的三维对象模型。

10.根据权利要求9所述的AR设备，其特征在于，所述处理器执行所述程序还用于展示所述对象的三维对象模型的生成过程，所述AR设备还包括：

输入装置，用于获取用户针对所述对象的三维对象模型标记指令，并将所述标记指令发送至处理器；

所述处理器执行所述程序还用于：

响应针对所述对象的三维对象模型的标记指令，得到所述对象的三维对象模型的标记区域；

获取所述标记区域对应的所述对象的区域图像信息；

将所述区域图像信息输入所述三维重建模型进行转换处理，得到所述标记区域对应的三维网格数据；

利用所述标记区域对应的三维网格数据，调整所述对象的三维对象模型。