[发明专利]一种动态模型三维重建方法、装置、设备和存储介质

权利要求书

1.一种动态模型三维重建方法，其特征在于，包括：

获取目标物体的当前帧深度图像及与所述当前帧深度图像相对应的当前帧彩色图像；

利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型；

根据所述当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧；

利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息；

其中，所述第一目标物体重建模型为与上一帧深度图像相对应的目标物体重建模型，所述第二目标物体重建模型为与所述当前帧深度图像相对应的目标物体重建模型，所述前置彩色图像为在所述当前帧彩色图像之前获取到的各帧彩色图像；所述各前置彩色图像关键帧为在所述当前彩色图像关键帧之前确定的各关键帧；

其中，根据所述当前帧彩色图像是否满足预设条件，确定与所述当前帧深度图像相对应的当前彩色图像关键帧，包括：

计算所述当前帧彩色图像与所述前置彩色图像融合后对应的模型顶点个数与完整的目标物体模型顶点个数的第一比值；

计算将所述各前置彩色图像关键帧融合后对应的模型顶点个数与所述完整的目标物体模型顶点个数的第二比值；

若所述第一比值与所述第二比值的差值大于预设阈值，则确定当前帧彩色图像为与所述当前帧深度图像相对应的当前彩色图像关键帧；

若所述第一比值与所述第二比值的差值小于或等于预设阈值，则确定上一帧彩色图像关键帧为与所述当前帧深度图像相对应的当前彩色图像关键帧。

2.根据权利要求1所述的方法，其特征在于，在确定与所述当前帧深度图像相对应的当前彩色图像关键帧之前，还包括：

当彩色图像的运动模糊程度大于或等于预设模糊程度阈值时，确定所述彩色图像为具有运动模糊的彩色图像，去除所述具有运动模糊的彩色图像。

3.根据权利要求1所述的方法，其特征在于，利用所述当前彩色图像关键帧和各前置彩色图像关键帧确定所述第二目标物体重建模型中的各顶点的颜色信息，包括：

利用所述当前彩色图像关键帧对应的深度图像，将所述当前彩色图像关键帧映射为包含颜色信息的单组三维点云；

利用所述各前置彩色图像关键帧对应的深度图像，将所述各前置彩色图像关键帧分别映射为包含颜色信息的多组三维点云；

将所述单组三维点云与所述多组三维点云进行融合，得到包含颜色信息的融合后的点云；

从所述融合后的点云中提取与所述第二目标物体重建模型中的各顶点相对应的颜色信息，并将所述颜色信息赋予所述第二目标物体重建模型中相应的顶点。

4.根据权利要求1所述的方法，其特征在于，利用所述当前帧深度图像和第一目标物体重建模型，得到第二目标物体重建模型，包括：

将所述当前帧深度图像映射为三维点云；

根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数；

将所述三维点云与所述第一目标物体重建模型进行融合，以使所述第一目标物体重建模型包括所述三维点云的所有点；

利用所述运动参数，调整融合后的第一目标物体重建模型中的各顶点，以确定所述第二目标物体重建模型中的各顶点的位置，获得所述第二目标物体重建模型；

其中，所述运动参数包括：非刚性运动位置变换参数和物体姿态参数。

5.根据权利要求4所述的方法，其特征在于，根据所述三维点云和所述第一目标物体重建模型，求解所述第二目标物体重建模型上的各顶点所对应的运动参数，包括：

将所述第一目标物体重建模型上的各顶点与所述三维点云进行匹配，得到各匹配点对；

利用与各匹配点对相对应的非刚性运动约束、骨架运动约束和局部刚性运动约束构造能量函数，其中，所述运动参数为所述能量函数的自变量；

利用预设算法求解使所述能量函数最小的所述运动参数。