[发明专利]单目3D动作捕捉方法、系统以及终端

说明书

本发明的单目3D动作捕捉方法、系统以及终端，通过对输入的由单目相机采集的视频数据以及人体模板数据进行预处理获得整体输入数据，将所述整体输入数据输入利用稀疏多视图参考以及光学标记参考的混合运动推理模型，并输出对应的骨骼运动提升图，再基于运动优化算法获得3D动作捕捉结果。本发明在具有极端人体姿态和复杂运动模式的挑战性场景下，也能够进行人体动作捕捉，同时仍然保持轻量级的单目设置，只需单目摄像头即可进行动作捕捉，对于移动设备是否具有深度传感器不做要求，并且相比单视角运动捕捉技术，缓解了自遮挡问题，具有更高的捕捉精准度，同时拥有更加稳定的优化方法，不仅完善骨骼运动以及提高跟踪精度，还性能损失更少。

技术领域

本发明涉及人工智能领域，特别是涉及一种单目3D动作捕捉方法、系统以及终端。

背景技术

人体对象是视觉场景信息中最重要的部分，其中人体动作捕捉已经取得了长足的发展。人体动作捕捉是从某种观测捕获三维人体运动的过程，被广泛应用于娱乐、体育、医疗应用，以及计算机视觉和机器人研究等。在电影制作和视频游戏开发中，它具体指记录人类演员的动作，并利用这些信息在二维或三维计算机动画中驱动数字角色模型。具体的，在如今的电影行业中，一个比较成熟的解决方案是使用基于光学标记的动作捕捉系统，演员通常需要穿上布满光学标记的专业动捕服装。人体表面密集的光学标记点结合物理追踪方法，能够准确地恢复三维空间中的运动。然而，这种基于光学标记的解决方案存在问题。首先，昂贵的设备成本对消费者不友好。其次，在拍摄前，动捕服装穿戴和标记点位置调整的过程十分繁琐。作为更加轻量级的方案，无标记人体动作捕捉近年来得到了快速发展，这一技术也加持了各类应用的兴起，例如：沉浸式虚拟现实、增强现实、体育分析和互动娱乐类别的应用。在该技术中，多视图的解决方案结合相机参数能够实现高保真的效果。但是，多相机设置也通常需要依赖昂贵的设备，所以难以在日常使用场景中部署。为了降低成本，且随着虚拟娱乐和游戏行业需求的旺盛，单目动作捕捉变得越来越流行。最近，基于数据驱动的方法能够从单目视频中捕捉人体运动。目前最先进的单目人体动作捕捉方法，利用基于深度学习的姿态估计和模板拟合的方法，来实现捕捉结果的时空一致性。然而，这些方法都无法捕捉到特定的、高难度的人体运动，比如瑜伽或者在地板上打滚。这些动作在单目条件下，会受到极端人体姿态、复杂运动模式和严重自遮挡的影响。

然而，捕捉这种具有挑战性的人体运动对于许多应用来说至关重要，例如：以体操为代表的体育运动，以及这些运动或舞蹈的训练和评估。同样的，像VICON这样基于光学标记的解决方案，在捕捉这种复杂的专业动作中也被广泛采用。然而，在无标记的条件下，我们无法直接利用这种基于光学标记的参考：无标记的动捕方案通常经由数据驱动的方式学习深度网络，再通过网络从一定观测预测三维运动。这意味着需要提前采集大量数据为模型训练做准备。这些数据通常包括视频输入数据，和与之配对的、准确的三维运动数据。基于光学标记的系统固然是一种获得精准三维运动数据的好的方式，但它往往需要和视频输入分开进行采集。在这种情况下，演员需要就同样的动作表演两次：在脱下基于标记的动捕服装后，需要重新表演这些具有挑战性的动作作为视频输入，而第二次表演与第一次基于标记的捕捉结果在时间上是不同步的。现有一些数据驱动的人体姿态估计方法，以对抗训练的方式利用这种时序不一致的参考。但这些方法仅从现有的动作捕捉数据集中，提取一般运动的动作先验，这并无法恢复特定的、具有挑战性的运动的特征。最近的工作启发我们以数据驱动的方式利用无标记的稀疏视图参考，为单目动作捕捉提供更好的三维空间中的先验。然而，由于良好真实动作数据的缺失，这些工作仅仅在二维人体图像上进行重投影的弱监督，而并不是对三维动作本身进行直接监督。这导致这些方法仍然需要针对每个表演者来专门训练。此外，之前的研究工作也没有将基于光学标记的系统与稀疏的多视图系统结合起来，在单目条件下对挑战性动作进行捕捉。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种单目3D动作捕捉方法、系统以及终端，用于解决现有技术中以上出现的技术问题。