[发明专利]用于视频译码的同时定位与地图构建

权利要求书

1.一种解码视频数据的方法，所述方法包括：

基于复合图像及场景结构图而产生合成图像，其中所述复合图像是由先前经解码的一或多个图像构造，其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经解码的所述视频数据的图像的场景结构图，其中所述场景结构图包含所述当前图像或先前经解码的所述图像内的三维点的坐标值，所述三维点的坐标值指示所述点的位置和相对深度，其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像，使得所述合成图像和所述当前图像的摄像机位置及定向相同，且其中产生所述合成图像进一步包括：

互连所述场景结构图的点以形成代理几何结构；

将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型；及

渲染所述基于图像的模型以产生所述合成图像；

确定残差图像，其中所述残差图像指示所述当前图像与所述合成图像之间的差异，且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像；及

基于所述合成图像及所述残差图像而重构所述当前图像。

2.根据权利要求1所述的方法，其中确定所述残差图像包括：接收所述当前图像的所述残差图像。

3.根据权利要求1所述的方法，其中纹理映射包括：基于一或多个先前经解码图像的摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。

4.根据权利要求1所述的方法，其进一步包括：

接收所述当前图像的所述场景结构图的信息或指示所述当前图像的所述场景结构图与先前经解码的所述图像的所述场景结构图之间的差异的信息中的一者；及

基于所述所接收信息而产生所述场景结构图，

其中产生所述合成图像包括：基于所述复合图像及所述所产生场景结构图而产生所述合成图像。

5.根据权利要求1所述的方法，其进一步包括：

接收关于用于构造所述复合图像的所述一或多个先前经解码图像及所述当前图像的摄像机位置及摄像机定向中的一者或两者，

其中产生所述合成图像包括：基于所述一或多个先前经解码图像及所述当前图像的所述摄像机位置及所述摄像机定向中的一者或两者而产生所述合成图像。

6.一种编码视频数据的方法，所述方法包括：

基于复合图像及场景结构图而产生合成图像，其中所述复合图像是由先前经编码的一或多个图像构造，其中所述场景结构图包括所述视频数据的当前图像的场景结构图或先前经编码的所述视频数据的图像的场景结构图，其中所述场景结构图包含所述当前图像或先前经编码的所述图像内的三维点的坐标值，所述三维点的坐标值指示所述点的位置和相对深度，其中产生所述合成图像包括利用所述当前图像的摄像机位置及定向信息来渲染所述合成图像，使得所述合成图像和所述当前图像的摄像机位置及定向相同，且其中产生所述合成图像进一步包括：

互连所述场景结构图的点以形成代理几何结构；

将所述复合图像纹理映射到所述代理几何结构以形成基于图像的模型；及

渲染所述基于图像的模型以产生所述合成图像；

基于所述合成图像及所述当前图像而确定残差图像，其中所述残差图像指示所述当前图像与所述合成图像之间的差异，且其中确定所述残差图像包括基于包括背景静态部分的所述当前图像的一或多个部分来确定所述残差图像；及

输出指示所述残差图像的信息以编码所述视频数据的所述当前图像。

7.根据权利要求6所述的方法，其进一步包括：

确定关于用于构造所述复合图像的所述一或多个先前经编码图像的摄像机位置及定向信息及关于所述当前图像的摄像机位置及定向信息，

其中纹理映射包括：基于所述一或多个先前经编码图像的所述摄像机位置及定向信息而将所述复合图像纹理映射到所述代理几何结构。