[发明专利]自由视点图像生成方法、装置、系统及可读存储介质

权利要求书

1.一种自由视点图像生成方法，其特征在于，包括：

根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像；

将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。

2.根据权利要求1所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中计算模型重建中间参数，所述模型重建中间参数包括待测目标表面各点法向、当前视图下缺失点的数量和/或所占比例、当前视图区域相机位姿估计时的迭代次数；

获取所述模型重建中间参数和当前视图RGB图像的亮度信息；

将所述模型重建中间参数和所述亮度信息以沉浸式和可交互的方式展示给用户。

3.根据权利要求2所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先设置在所述三维虚拟模型的重建过程中同时生成点云模型、面元模型和网格模型；

将所述三维虚拟模型、所述点云模型、所述面元模型、所述网格模型和所述初始虚拟视点图像以沉浸式和可交互的方式展示给用户。

4.根据权利要求1至3任意一项所述的自由视点图像生成方法，其特征在于，所述将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户包括：

预先构建操作建议数据库，所述操作建议数据库包括多条扫描操作建议，每条扫描操作建议根据当前生成的三维虚拟模型和标准虚拟模型的各参数的差异、当前生成的虚拟视点图像和标准虚拟视点图像的各参数的差异共同生成；

获取所述三维虚拟模型和所述初始虚拟视点图像的各参数信息，在所述操作建议数据库中匹配相应目标扫描操作建议；

将所述目标扫描操作建议以沉浸式和可交互的方式展示给用户。

5.根据权利要求4所述的自由视点图像生成方法，其特征在于，所述根据所述三维虚拟模型的格式和待观测虚拟视点数据生成初始虚拟视点图像包括：

从所述选择指令中读取用户拟观察的虚拟视点位置信息和观察方向，得到虚拟视点位置和位姿数据，作为所述待观测虚拟视点数据；

利用光线投射方法或图像重投影变换方法，根据所述三维虚拟模型的格式、所述虚拟视点位置和所述位姿数据生成所述初始虚拟视点图像；

其中，所述三维虚拟模型的格式为点云格式或符号距离函数格式或三角网格格式。

6.一种自由视点图像生成装置，其特征在于，包括：

三维重建模块，用于根据于同一时刻对同一目标采集的RGB图像和深度数据进行三维重建，得到被扫描场景的三维虚拟模型；

初始视点图像生成模块，用于当接收到用户对虚拟视点的选择指令，根据所述三维虚拟模型的格式、待观测虚拟视点数据生成初始虚拟视点图像；

扫描操作调整模块，用于将基于所述初始虚拟视点图像生成的用于反映当前重建结果质量和后续扫描操作建议的反馈信息展示给用户，以使用户基于所述反馈信息调整扫描参数，并响应用户每一次参数调整后的扫描操作直至接收到用户扫描结束指令；

最终视图生成模块，用于利用图像优化算法处理最后扫描得到的结果数据生成自由视点图像。