[发明专利]调整三维姿态的方法、装置、电子设备及存储介质

说明书

本公开提供了一种调整三维姿态的方法、装置、电子设备及存储介质，涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维视觉和人体驱动场景下。具体实现方案为：获取当前录制的视频；基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果；通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。

技术领域

本公开涉及人工智能领域，具体涉及计算机视觉和深度学习技术，具体可用于三维视觉和人体驱动场景下，尤其涉及调整三维姿态的方法、装置、电子设备及存储介质。

背景技术

在人工智能领域中，经常需要获取人体的三维姿态。由于传统的估计人体三维姿态的方法需要使用复杂的动作捕获设备，例如动捕服、光捕设备等，因此，设备要求较简单的基于单目视频的动作捕捉技术得到广泛应用。对此，本领域的技术人员不断尝试各种基于单目视频估计人体三维姿态的算法。

现有方案中，基于单目视频估计人体三维姿态的算法中，并没有针对人体脚部接地效果的约束模型进行优化，也就是说，该算法准确度较低，这导致了该算法估计所得的人体三维姿态存在抖动情况，人体脚部动作存在明显的漂浮感。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本公开提供了调整三维姿态的方法、装置、电子设备及存储介质，以至少解决现有技术中由于算法中没有针对人体脚部接地效果的约束模型进行优化，导致对人体三维姿态估计不准确，人体脚部动作存在明显的漂浮感的技术问题。

根据本公开其中一实施例，提供了一种调整三维姿态的方法，包括：获取当前录制的视频，其中，视频包括：多个图像帧，多个图像帧的每个图像帧中均显示有虚拟三维模型；基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，检测结果用于表明目标部位与虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。

根据本公开其中一实施例，还提供了一种调整三维姿态的的装置，包括：获取模块，用于获取当前录制的视频，其中，视频包括：多个图像帧，多个图像帧的每个图像帧中均显示有虚拟三维模型；估计模块，用于基于多个图像帧估计得到虚拟三维模型的多个二维关键点和初始三维姿态；检测模块，用于利用多个二维关键点对虚拟三维模型的目标部位进行接触检测，得到检测结果，其中，检测结果用于表明目标部位与虚拟三维模型所在三维空间内的目标接触面之间是否发生接触；确定模块，用于通过检测结果和初始三维姿态对应的多个初始三维关键点，确定多个目标三维关键点；调整模块，用于采用多个初始三维关键点和多个目标三维关键点将初始三维姿态调整为目标三维姿态。

根据本公开其中一实施例，还提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提出的调整三维姿态的方法。

根据本公开其中一实施例，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提出的调整三维姿态的方法。

根据本公开其中一实施例，还提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行本公开提出的调整三维姿态的方法。