[发明专利]一种基于三维姿态识别的舞谱记录与演示方法

说明书

本发明公开了一种基于三维姿态识别的舞谱记录与演示方法，以人体姿态与舞谱的自动解译过程为切入点，通过对视频图像中人体姿态的自动识别，将人体的动作信息转换为三维空间坐标信息，并解译为舞谱的形式存储和记录下来。具体步骤为：从视频图像中获取人体的二维姿态信息，并投影到三维空间；用骨骼动画对三维信息进行建模，以形象可观的方式展示人体的姿态和动作信息；同时将三维信息解译成相应的拉班舞谱符号，自动生成舞谱进行存储和记录；可从读入的舞谱中解译出人体的动作信息，并通过三维动画形式直观展现出来。

技术领域

本发明涉及深度学习技术领域，更具体的说是涉及一种基于三维姿态识别的舞谱记录与演示方法。

背景技术

人体姿态识别与记录可以广泛应用于舞蹈教学、临床医学、人机交互等领域。随着深度学习的发展，借助机器视觉从视频中获取姿态信息已经成为可能。现在的姿态信息储存主要分为两种：供电脑程序使用的关键点坐标信息和供人阅读的舞谱。记录关键点坐标的文件格式主要有xml等，此类文件需要专业的读取方式，且需要一定技术手段才能展示为直观的动作，更适合于专业人员使用。舞谱是常见的用来记录舞蹈动作的系统，它将舞蹈动作对应于特定的符号进行记录。但是其作用不局限于此，舞谱记录的动作也可以用于其他研究领域，将姿态信息采取舞谱记录，有利于后续对姿态信息的理解与使用。

传统拉班舞谱记谱软件采用动作捕捉的方式采集动作信息。这种方式存在对硬件设备要求高、对使用人员专业技术要求高、不能对已有视频进行识别等问题。相较于传统的拉班舞谱记录软件，我们的软件摒弃了使用动作捕捉技术进行姿态信息获取的方式，而是利用姿态识别算法从单目摄像头获取的视频图像中自动获取目标的姿态信息，再将其重建成为三维姿态的坐标信息，进行记录。

现在对姿态识别信息较为常见的储存方式是储存关键关节点的坐标。这种储存方式有两个缺点。1)将三维信息投影到二维平面，丢失了三维空间的信息；2)储存的是关节位置，没有将其直接对应到动作，无益于后续对姿态信息的利用。

因此，如何提供一种既保留三维信息，又利于后续对动作的理解与应用的舞谱记录与演示方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于三维姿态识别的舞谱记录与演示方法，以人体姿态与舞谱的自动解译过程为切入点，通过对视频图像中人体姿态的自动识别，将人体的动作信息转换为三维空间坐标信息，并解译为舞谱的形式存储和记录下来，并能够对舞谱进行可视化。

为了实现上述目的，本发明提供如下技术方案：

一种基于三维姿态识别的舞谱记录与演示方法，包括如下具体步骤：

利用视频图像中进行人体的运动捕捉与二维姿态识别；

根据识别的二维姿态进行三维姿态估计与重建；

将三维姿态解译成拉班舞谱；

利用骨骼动画对拉班舞谱的运动内容进行可视化处理。

优选的，在上述的一种基于三维姿态识别的舞谱记录与演示方法中，所述人体运动的捕捉的具体步骤包括：

构建具有两个分支的多阶段CNN模型，两个所述分支分别用来预测置信度图和预测关节关键点相关性；

将视频图像输入所述多阶段CNN模型，第一个分支检测出关键点，用关键路径法方法标定关节关键点，根据标定的关节关键点，生成二维向量组成的基本置信度图，并且在不同阶段，预测置信度图，选取置信度图中的极大值，同时通过非极大抑制来消除错误的关节关键点间的关联；

利用相关性将关节关键点进行关联，并评估关节关键点之间的部件关联度；

在计算完关节关键点之间的部件关联度后，利用二分图模型识别单人或者多人的姿态，其中图的顶点使用关键点，图边的权值选取部件关联度，然后使用匈牙利算法即可求解；