[发明专利]一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质

权利要求书

1.一种基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，包括：

获取用户在初始状态下所有点位的初始位置，确定每个所述点位的序号、名称以及相邻所述点位的距离，并保存初始姿态模型；

获取RGB图像信息，并捕捉所述RGB图像中所有点位的目标位置；

根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度，并驱动所述初始姿态模型做出与所述RGB图像信息一样的动作。

2.如权利要求1所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述点位包括手指点位和身体点位。

3.如权利要求2所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述手指点位的获取步骤包括：

对手部区域的RGB图像采用MobileNetV2神经网络检测手指2D关键点，获得所述手指的2D点位；

对所述位手指的2D点位采用全连接神经网络，回归获得所述手指的3D点位。

4.如权利要求2所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述身体点位的获取步骤包括：

数据采集；

构建身体点位的backbone网络模型；

根据所述数据，对所述身体点位的backbone网络模型进行训练；

对训练好的所述身体点位的网络模型输入身体区域的RGB图像，获得所述RGB图像的身体点位。

5.如权利要求4所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，所述数据采集包括身体的3D数据集和2D数据集；

所述3D数据集包括：

搜集3D人物模型，构建人物3D模型数据集；

搜集人物动画数据，构建基础动作数据集；

使用渲染软件，将所述基础动作数据集渲染到所述人物3D模型数据集，获得所述3D数据集；

所述2D数据集包括采集人像视频，并从所述人像视频中选取服饰、场景和动作丰富的图像。

6.如权利要求4所述的基于单目RGB输入的移动端实时3D人体动作捕捉方法，其特征在于，对所述身体点位的backbone网络模型进行训练包括：

使用backbone网络模型中的loss函数对所述2D数据集进行训练，获取所述backbone网络模型的所有权重参数；

固定所述所有权重参数，使用loss函数分别对所述2D数据集和所述3D数据集进行训练，直至收敛；

解开所述权重参数中的weights，使用loss函数E_all以及交叉监督函数E_cross进行训练，直至收敛；

其中，为网络2D输出的第n张点位热度图heatmap，为2D数据集中的真实标注的点位热度图，为网络2D输出的第n张肢体热度图，为2D数据集中真实标注的肢体热度图；为网络3D分支输出的第n张点位热度图，为3D数据集中的真实标注点位热度图，为网络3D分支输出的第n张肢体热度图，为3D数据集中真实标注的肢体热度图；H_3d^2d为3D数据集中和2D数据集的共有点位；H_2d^3d表示2D数据集中和3D数据集的共有点位。