[发明专利]一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质

说明书

本发明公开了一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质，属于虚拟技术领域，包括获取用户在初始状态下所有点位的初始位置，确定每个点位的序号、名称以及相邻点位的距离，并保存初始姿态模型；获取RGB图像信息，并捕捉RGB图像中所有点位的目标位置；根据IK算法、点位的初始位置以及图像中所有点位的目标位置，计算初始姿态模型做出与RGB图像信息一样的动作时，初始状态下每个相邻点位的旋转角度，并驱动初始姿态模型做出与RGB图像信息一样的动作。本发明实现了一种基于RGB输入的移动端实时的3D人体动作捕捉和可视化应用。

技术领域

本发明属于虚拟技术领域，特别涉及一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质。

背景技术

人体动作捕捉技术是一种能够检测人体在三维空间中的姿态和运动的轨迹，并在虚拟三维环境中重现人体运动的技术。当前业界比较常用的动作捕捉技术主要是光学式的和惯性式，其中光学式动作捕捉技术精确度很高可以达到亚毫米级，但是成本非常高，通常用于自动化控制、影视动画等领域，而成本稍低一些的惯性式动作捕捉技术则精度不如光学动补，且存在误差累计和传感器磁化的问题，通常使用在一些对精度要求不那么高的领域。虽然惯性式动作捕捉设备的成本已经不是很高了，但是还是难以普及到一般的用户群体中，主要由于：1)其需要穿戴配套设备才能使用，且限制了使用场景2)成本相对于手机这种已经非常普及的设备而言还是过高。

发明内容

针对上述的问题，本发明提供一种基于单目RGB输入的移动端实时3D人体动作捕捉方法及系统、电子设备、存储介质，其方法包括：

获取用户在初始状态下所有点位的初始位置，确定每个所述点位的序号、名称以及相邻所述点位的距离，并保存初始姿态模型；

获取RGB图像信息，并捕捉所述RGB图像中所有点位的目标位置；

根据IK算法、所述点位的初始位置以及所述RGB图像中所有点位的目标位置，计算所述初始姿态模型做出与所述RGB图像信息一样的动作时，初始状态下每个相邻所述点位的旋转角度，并驱动所述初始姿态模型做出与所述RGB图像信息一样的动作。

优选的是，所述点位包括手指点位和身体点位。

优选的是，所述手指点位的获取步骤包括：

对手部区域的RGB图像采用MobileNetV2神经网络检测手指2D关键点，获得所述手指的2D点位；

对所述位手指的2D点位采用全连接神经网络，回归获得所述手指的3D点位。

优选的是，所述身体点位的获取步骤包括：

数据采集；

构建身体点位的backbone网络模型；

根据所述数据，对所述身体点位的backbone网络模型进行训练；

对训练好的所述身体点位的网络模型输入身体区域的RGB图像，获得所述RGB图像的身体点位。

优选的是，所述数据采集包括身体的3D数据集和2D数据集；

所述3D数据集包括：

搜集3D人物模型，构建人物3D模型数据集；

搜集人物动画数据，构建基础动作数据集；

使用渲染软件，将所述基础动作数据集渲染到所述人物3D模型数据集，获得所述3D数据集；

所述2D数据集包括采集人像视频，并从所述人像视频中选取服饰、场景和动作丰富的图像。

优选的是，对所述身体点位的backbone网络模型进行训练包括：