[发明专利]几何形状信息的运动补偿

说明书

本文中描述了用于对3D数据的几何形状表示进行运动补偿的方法。该方法通过首先在时域中识别对应的3D表面，然后通过运动补偿的3D表面面片的3D到2D投影，并且然后最后在投影的3D表面面片上执行2D运动补偿，来执行运动补偿。

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2018年6月26日提交的，标题为“几何形状信息的运动补偿”的美国临时专利申请序列号62/690,051的优先权，其整体出于所有目的通过引用并入于此。

技术领域

本发明涉及三维图形。更具体地，本发明涉及三维图形的运动补偿。

背景技术

当前时变3D几何形状数据的编码利用需要几何形状跟踪的运动建模阶段，这在计算上很繁重，并且由于拓扑变化和快速运动，可能容易出错。

已经尝试了不同的方法来执行3D几何形状信息的运动补偿。然而，这些解决方案具有使它们不受欢迎的明显缺点。

1.用于动画网格的编码(FAMC)的MPEG标准仅对配准的网格执行运动建模和运动补偿，这意味着网格跟踪阶段是必须的，并且诸如拓扑变化和快速运动的问题可能阻止运动模块执行正确的网格跟踪。

2.(学术界)[Yamasaki等作者，ICIP 2010]中的方法利用基于面片的运动补偿，但不利用3D到2D投影，所以需要在比特流中显式发送单独的面片对应信息。出自[Doumanoglou等作者，IEEE CSVT2014]的方法未利用面片，而是使用用于网格分割的蒙皮模型。该方法还需要用于运动补偿的先前的骨骼跟踪，这可能不可用。

3.(工业)当前正由MPEG开发的点云编码标准使用面片来编码3D点，并且在[m42712，MPEG121会议]中提出了用于时间一致的面片打包的方法。然而，面片之间的对应利用2D投影的表面和法线方向，这是不可靠的，并且不补偿面片3D运动。

发明内容

本文中描述了用于3D数据的几何形状表示的运动补偿的方法。该方法通过首先在时域中识别对应的3D表面，然后通过运动补偿的3D表面面片的3D到2D投影，并且然后最后在投影的3D表面面片上执行2D运动补偿，来执行运动补偿。

在一方面中，编程在设备的非瞬时性存储器中的方法包括从3D几何形状生成3D面片，确定时间实例之间对应的3D面片，使用对应的3D面片来实施3D匹配的面片运动补偿，将对应的3D面片投影到2D画布图像上，以及使用2D画布图像的序列来实施2D运动补偿。生成3D面片包括确定在3D几何形状的表面上连接的点。确定时间实例之间对应的3D面片包括通过评估由各个3D面片的3D边界框创建的立方体的体积相交部分来识别面片之间的时间对应。实施3D匹配的面片运动补偿包括将对应的3D面片定位在UV贴图上的补偿运动的位置中。将3D面片投影到2D画布上包括将对应的3D面片放置到2D画布上，以使3D中的匹配坐标与投影后的2D中的相同位置相对应。通过调整3D面片的深度来增加对应的面片数据的相似度。在实施3D匹配的面片运动补偿并实施2D运动补偿之后，运动补偿的3D几何形状被建立。