[发明专利]姿势的消歧

说明书

公开了涉及姿势消歧的计算机动画。从来自不同的视角的角色的对应的同期视频图像生成两个或更多个源分割掩模。生成对应于所述两个或更多个同期视频图像中的所述角色的动画角色的三维模型。两个或更多个不同的目标分割掩模与对应于所述两个或更多个视频图像中的所述角色的所述动画角色的不同视角相对应。将每个目标分割掩模与对应的源分割掩模进行比较，根据所述比较，确定所述三维模型的姿势是否与所述视频图像中的所述角色的姿势相对应。当所述模型姿势与所述视频图像中的所述角色的所述姿势相对应时，使用所述模型来生成动画化角色的动画帧。

技术领域

本申请涉及计算机动画，并且更具体地，涉及在从视频生成动画时确定姿势。

背景技术

计算机动画通常是指用于以数字方式生成动画图像的过程。现代计算机动画通常使用3D计算机图形来生成图像。为了产生移动的错觉，显示计算机生成的图像并用与其相似但时间略有提前的新图像反复地替换(例如，以24、25或30帧/秒的速率)。计算机动画技术可实现传统上与电视和电影相关联的相同移动错觉。计算机动画可被认为是使用计算机来生成移动图像的帧的数字实现的定格动画技术。数字计算的使用允许使用3D模型来实现更详细和逼真的动画。与更传统的基于物理的过程(诸如将微缩模型用于特效镜头，或为群众场景雇用临时演员)相比，计算机动画提供了更大的控制和灵活性。现代计算机动画系统和软件可创建使用任何其他技术都无法实现的图像。

在大多数3D计算机动画系统中，动画师创建构成角色的解剖结构的片段的简化表示。这种简化表示可被认为是骨架模型。片段被布置到默认位置，有时称为绑定姿势，或人物的T型姿势。每个片段的位置由动画变量定义，这些动画变量一起定义人物的姿势。在人类和动物角色中，骨架模型的许多部分可对应于实际骨骼，但骨架动画也可用于为其他事物制作动画，包括拟人化对象，诸如人形机器人或动画师希望描绘的其他无生命对象，就好像它们是有生命的一样。计算机使用该模型来计算特定角色的确切位置和取向，最终将其渲染到图像中。因此，通过随时间改变动画变量值，动画师通过使角色从一帧移动到另一帧来创建运动。

有几种方法来生成动画变量值以获得逼真运动。传统上，动画师直接操纵这些值。虽然这可通过为每一帧设置值来完成，但更常见的是在战略点(帧)处适时地设置这些值，并且计算机在称为关键帧的过程中在它们之间进行插值或“补间”。

称为运动捕捉的较新方法使用实景镜头。当计算机动画由运动捕捉驱动时，真正的表演者表演场景，就好像他们是要制作动画的角色一样。使用摄像机和关键点(例如，关节和四肢)处的标记将表演者的运动记录到计算机，并且然后将表演应用于动画化角色。最近，已经开发出使用运动捕捉数据作为强化学习(RL)中的参考以训练神经网络来控制人形机器人或以较低的成本创建逼真的动画的技术。

正是在这种背景下提出本公开的各方面。

附图说明

通过考虑下面结合附图的具体实施方式可容易理解本公开的教义，在附图中：

图1A和图1B是示出用单目相机获得的图像中的姿势歧义问题的图。

图2A是示出根据本公开的各方面的计算机动画中的姿势消歧方法的示意图。

图2B是示出根据本公开的各方面的计算机动画中的姿势消歧方法的流程图。

图3是示出根据本公开的各方面的用于涉及姿势消歧的计算机动画的设备的示意图。

图4A是示出根据本公开的各方面的从视频得出的计算机动画中的单目姿势预测的流程图。

图4B是示出根据本公开的各方面的机器人的计算机动画控制中的单目姿势预测的流程图。

图5是示出根据本公开的各方面的用于涉及计算机动画中的单目姿势预测的计算机动画的设备的示意图。

具体实施方式