[发明专利]基于多目视觉的人体动作重建系统、方法和动作训练系统

权利要求书

1.一种基于多目视觉的人体动作重建系统，其特征在于，包括：

相机标定模块，用于根据采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

动作采集模块，用于获取所有所述单目相机采集到的目标人体的动作图像序列，将所述动作图像序列发送至二维人体动作识别模块；

所述二维人体动作识别模块，用于识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块；

所述三维动作重建模块，用于基于每一帧中的所述人体骨架信息还原所述目标人体的所述二维关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。

2.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，还包括：成像点误差纠正模块；

所述成像点误差纠正模块，用于在所述单目相机发生偏移时，纠正所述二维人体动作识别模块中的所述二维关节点的像素坐标，以便于所述二维人体动作识别模块根据纠正像素坐标后的所述二维关节点重建所述目标人体的人体骨架，并将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

3.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，所述三维动作重建模块具体包括：

第一求解子模块，用于基于所述单目相机标定后的单目相机参数，求解与所述单目相机的焦点垂直投影于所述单目相机的成像平面上的投影成像点在预置三维坐标系中的第一真实三维坐标；

第二求解子模块，用于基于所述第一真实三维坐标和所述单目相机的成像平面参数，求解所述第一真实三维坐标的旋转矩阵和平移向量；

第三求解子模块，用于基于所述旋转矩阵和平移向量求解所述成像平面上的所述二维关节点在所述预置三维坐标系中的第二真实三维坐标；

关节点重建子模块，用于将所述预置三维坐标系中，使得所有所述单目相机的光心坐标与对应的所述第二真实三维坐标直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

4.根据权利要求3所述的基于多目视觉的人体动作重建系统，其特征在于，所述关节点子模块具体用于：

基于超定方程组最小二乘法求解所有所述单目相机的光心坐标与对应的所述第二真实三维坐标所成的直线取得最小距离的三维坐标点，作为所述二维关节点在所述预置三维坐标系中的真实三维关节点，重建出所述目标人体的三维动作。

5.根据权利要求1所述的基于多目视觉的人体动作重建系统，其特征在于，所述二维人体动作识别模块具体用于：

基于预置卷积神经网络对所述动作图像序列中的人体关键肢体关节部位进行识别，提取所述动作图像序列的每一帧中属于同一目标人体的25个关节点，以便于重建所述目标人体的人体骨架，将每一帧的所述人体骨架信息存储并发送至三维动作重建模块。

6.一种基于多目视觉的人体动作重建方法，其特征在于，包括：

基于采集到的标定点数据进行单目相机标定，所述单目相机的数量至少两个；

获取至少两个所述单目相机拍摄的目标人体的动作图像序列；

识别所述动作图像序列中的人体关键肢体关节部位，提取所述动作图像序列的每一帧中属于同一目标人体的二维关节点，以便于重建所述目标人体的人体骨架，得到每一帧的所述人体骨架信息；

基于每一帧中的所述人体骨架信息还原所述目标人体在关节点在三维空间中的真实位置，重建出所述目标人体的三维动作。