[发明专利]动作捕捉方法、装置、电子设备和计算机可读存储介质

说明书

本发明的实施例提供了一种动作捕捉方法、装置、电子设备和计算机可读存储介质，涉及互联网技术领域，方法包括：获得目标对象的动作图像，将动作图像输入至特征编码模块，得到初始的SMPL参数，并将初始的SMPL参数与先验的SMPL参数进行拼接，得到拼接数据，进而将拼接数据输入至回归器模块，得到预测的SMPL参数，从而提高动作捕捉的便捷性。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种动作捕捉方法、装置、电子设备和计算机可读存储介质。

背景技术

近年来，动作捕捉技术在影视节目、游戏娱乐和AR(Augmented Reality，增强现实)等领域有着广泛的应用。但是目前的动作捕捉技术通常需要昂贵的专业设备，如激光摄像头、传感器等来实现，需要专业人员在现场调试使用，实现较为不便。

发明内容

本发明的目的之一包括，例如，提供了一种动作捕捉方法、装置、电子设备和计算机可读存储介质，以至少部分地提高动作捕捉实现的便捷性。

本发明的实施例可以这样实现：

第一方面，本发明提供一种动作捕捉方法，包括：

获得目标对象的动作图像；

将所述动作图像输入至特征编码模块，得到初始的SMPL参数；

将所述初始的SMPL参数与先验的SMPL参数进行拼接，得到拼接数据；

将所述拼接数据输入至回归器模块，得到预测的SMPL参数。

在可选的实施方式中，获得目标对象的动作图像的步骤，包括：

基于相机采集的目标对象的运动视频，获得所述目标对象的每一帧图像；

将所述每一帧图像转换成RGB格式的图像；

将所述RGB格式的图像校正为目标尺寸的图像，将所述目标尺寸的图像作为所述目标对象的动作图像。

在可选的实施方式中，所述方法还包括训练得到所述特征编码模块和回归器模块的步骤，该步骤包括：

获得训练数据集；

将所述训练数据集输入至待训练的特征编码模块，得到初始的SMPL训练参数；

将所述初始的SMPL训练参数与先验的SMPL参数进行拼接，得到拼接训练数据；

将所述拼接训练数据输入至待训练的回归器模块，得到预测的SMPL训练参数；

将所述预测的SMPL训练参数与预存的真实的SMPL参数进行比较，计算损失值；

通过最小化所述损失值进行反向传播来更新所述待训练的特征编码模块和待训练的回归器模块的权重参数，直至达到收敛条件，从而得到特征编码模块和回归器模块。

在可选的实施方式中，获得训练数据集的步骤，包括：

获得目标对象各关节点的2D信息标注数据和3D信息标注数据；

对所述2D信息标注数据、3D信息标注数据和对应的训练图片进行预处理，生成二进制的数据文件，将所述二进制的数据文件作为训练数据集。

在可选的实施方式中，SMPL参数包括SMPL姿态参数和SMPL体型参数；所述将所述预测的SMPL训练参数与预存的真实的SMPL参数进行比较，计算损失值的步骤，包括：

根据以下公式计算得到SMPL损失值：