[发明专利]一种动态光场重建方法、装置及设备

权利要求书

1.一种动态光场重建方法，其特征在于，包括：

对多视角视频分别进行帧间的运动估计，确定各视角的动态区域，获得动态区域集；

基于所述动态区域集对所述多视角视频的每一帧进行深度估计，获得所述多视角视频中主视角视频每一帧的深度图；

基于所述动态区域集对所述多视角视频的每一帧进行RGB压缩编码，获得所述主视角视频每一帧的第一RGB信息；

根据所述深度图和所述第一RGB信息确定空间体素每一帧的第二RGB信息和距离场SDF信息；

基于所述第二RGB信息和所述SDF信息构建三维动态模型。

2.根据权利要求1所述的方法，其特征在于，对多视角视频分别进行帧间的运动估计，确定各视角的动态区域，包括：

对于每个视角视频，将所述视角视频进行网格划分，获得多个区域；

获取所述多个区域分别对应的光流值；

将所述光流值为非0的区域确定为动态区域。

3.根据权利要求1所述的方法，其特征在于，基于所述动态区域集对所述多视角视频的每一帧进行深度估计，获得所述多视角视频中主视角视频每一帧的深度图，包括：

获取各视角视频分别对应的相机标定参数；

对于所述多视角视频的第一帧，基于所述相机标定参数对所述第一帧的每个像素点进行深度估计，获得所述多视角视频中主视角视频第一帧的深度图；

对于所述多视角视频的第N帧，基于所述相机标定参数对所述第N帧中所述动态区域集中的像素点进行深度估计，获得所述主视角视频第N帧的深度图；其中，N大于或等于2。

4.根据权利要求1所述的方法，其特征在于，基于所述动态区域集对所述多视角视频的每一帧进行RGB压缩编码，获得所述主视角视频每一帧的第一RGB信息，包括：

对于所述多视角视频的第一帧，采用设定视频编码算法对所述第一帧的每个像素点的RGB信息进行压缩编码，获得所述多视角视频中主视角视频第一帧的第一RGB信息；

对于所述多视角视频的第N帧，采用设定视频编码算法对所述第N帧动态区域中像素点的RGB信息进行压缩编码，获得所述多视角视频中主视角视频第N帧的第一RGB信息。

5.根据权利要求1所述的方法，其特征在于，根据所述深度图和所述第一RGB信息确定空间体素每一帧的距离场SDF信息，包括：

将空间体素投影至所述深度图中，获取投影距离以及所述空间体素的中心投影到的像素点；

根据所述投影距离和所述中心投影到的像素点的深度值确定所述空间体素每一帧的初始SDF信息；

对于所述空间体素的第一帧，将所述初始SDF信息确定为所述第一帧的目标SDF信息；

对于所述空间体素的第N帧，按照如下公式确定所述第N帧的目标SDF信息：

其中，为第N-1帧的目标SDF信息，为第N-1帧的权重值，为所述第N帧的初始SDF信息，为第N帧的权重值，为所述目标SDF信息；其中，N大于或等于2。

6.根据权利要求5所述的方法，其特征在于，根据所述深度图和所述第一RGB信息确定空间体素每一帧的第二RGB信息，包括：

将空间体素的中心投影到的像素点的第一RGB信息确定为所述空间体素的第二初始RGB信息；

对于所述空间体素的第一帧，将所述初始RGB信息确定为所述第一帧的目标RGB信息；

对于所述空间体素的第N帧，按照如下公式确定所述第N帧的目标RGB信息：

其中，为第N-1帧的第二目标RGB信息，为第N帧的第二初始RGB信息，为第N帧的目标RGB信息。

7.根据权利要求6所述的方法，其特征在于，基于所述第二RGB信息和所述SDF信息构建三维动态模型，包括：

对于所述空间体素的每一帧，基于所述目标SDF信息和所述第二目标RGB信息采用设定网格提取算法构建每一帧的三维模型；

将每一帧的三维模型进行合并，获得三维动态模型。