[发明专利]单视图彩色三维点云重建方法、系统、存储介质及计算机

说明书

本发明提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，该方法包括：利用图像编辑器对兴趣图像进行图像编辑得到形状隐编码及颜色隐编码；基于扩散模型和形状隐编码进行点云重建得到目标点云，并根据颜色隐编码进行颜色预估得到目标点云中各点云的点云颜色；根据目标点云的相机参数得到采样点位置，并基于目标点云及点云颜色计算出各采样点位置的体密度和辐射度渲染出预测点云图像；对预测点云图像的点云颜色及点云形状进行优化及结果微调实现真实物体图像的三维点云重建。本发明以单张视图作为条件，利用扩散模型重建出粗略的物体点云形状及生成颜色，解决现有网络生成质量不高、训练比较困难的问题。

技术领域

本发明涉及图像处理技术领域，特别涉及一种单视图彩色三维点云重建方法、系统、存储介质及计算机。

背景技术

三维形状重建是计算机图形学和计算机视觉的一个基本研究课题。在过去的几十年里，点云由于其简单性和紧凑性，一直是一种流行的三维形状表示。虽然近年来三维扫描硬件取得了很大的发展，但它不能满足工业的需求。一方面，扫描大量的真实模型既费钱又费时。另一方面，在很多情况下，设计师想生成一些现实世界中可能不存在的新颖的三维形状。因此，三维形状的重建或生成仍然是计算机视觉的一个重要研究问题。

重建工作在日常使用环境中面对的条件往往较为极端，用户经常希望只拍摄一张图片就直接可以重建出质量较高的三维形状，现有方法在这个要求上还有所欠缺。单视图会天然地造成信息缺失问题，非深度学习方法很难处理。而现有的从单视图中重建点云的深度学习方法解决这个问题的思路是给模型加入一定的生成能力，从而使图像空间到物体点云空间的跨越更加容易。但是，现有方法使用的网络基本为自编码网络和生成对抗网络，它们普遍存在生成质量不高、训练比较困难等问题。同时为了增加点云重建精度，现有方法大都会使用重投影把三维点云再重新转化为二维掩码或者深度图像。这种类光栅化的方法经常会导致多个点被投影到一个像素上，造成较大误差。这个问题是由光栅化的原理导致的，现有方法针对其提出的改进思路只能缓解而不能解决。另一方面，现在基于单视图的点云重建方法几乎都没有考虑颜色问题，但是色彩是人类感知的重要一环，对于三维重建的质量至关重要。

发明内容

基于此，本发明的目的是提供一种单视图彩色三维点云重建方法、系统、存储介质及计算机，以至少解决上述相关技术中的不足。

本发明提出一种单视图彩色三维点云重建方法，包括：

获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码；

基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色；

根据所述目标点云所对应的相机参数得到采样点位置，并基于所述目标点云以及所述目标点云中各点云的点云颜色计算出各采样点位置的体密度和辐射度，以渲染出对应的预测点云图像；

以真实物体图像作为约束，对所述预测点云图像的点云颜色以及点云形状进行优化，并对优化后的预测点云图像进行结果微调，以实现所述真实物体图像的三维点云重建。

进一步的，获取任一兴趣图像，并利用图像编辑器对所述兴趣图像进行图像编辑，以得到形状隐编码以及颜色隐编码的步骤包括：

以ResNet50网络为核心架构构建图像编码器，并获取用户选取的任一张感兴趣的图像；

利用所述图像编码器对所述感兴趣的图像进行图像编辑，以得到形状隐编码以及颜色隐编码。

进一步的，基于扩散模型和所述形状隐编码进行点云重建，以得到具有目标形状的目标点云，并根据所述颜色隐编码为所述点云重建进行颜色预估，以得到所述目标点云中各点云的点云颜色的步骤包括：