[发明专利]一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法

说明书

本发明公开了一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法，包括如下步骤：基于YOLOv3检测器进行舞蹈者人体检测框提取，将RGB图像输入YOLOv3模型，获得人体检测框；对获得的人体检测框进行关节点特征提取，来获得融合多分辨率多尺度信息的特征，在融合多分辨率多尺度信息的特征上使用softmax函数获得关节点的heatmap，由heatmap估算获得各关节的位置信息；对估计得到的人体骨骼关节点进行关节点几何关系关联性预测，通过分析关节点之间的几何关系，构建基于关节点几何关系的层级姿态估计模型，进行多层次的关节点估计。本发明能够提高舞蹈者关节点位置的准确估计，提高舞蹈动作姿态估计的效果。

技术领域

本发明属于计算机视觉技术领域，更具体的说是涉及一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法。

背景技术

舞蹈是文化的重要表现形式之一，我国舞蹈课堂人数通常较多，教师只能粗略地通过学生的肢体动作及面部表情获取学生的动作变化，难以精确地了解到学生对舞蹈动作实时掌握的情况。因此，运用信息技术实时对舞者的动作姿态进行估计，及时获得课堂舞蹈教学状态信息，将极大促进因材施教的实施。

随着科技与文化深度融合的开展，舞蹈图像中的动作姿态估计将成为计算机视觉技术的一个重要应用领域，其不仅可以用于专业舞蹈者动作纠正，舞蹈自助教学等应用场景，还可以用于运动员运动分析、比赛仲裁、动作识别、影视娱乐、辅助游戏设计、增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)等多个人机交互现实场景。同时，可以充分发挥舞蹈教学作为“文化自信”育人载体的作用，实现中华民族文化的振兴，对于传承中华文化具有重要意义。

目前，多人姿态估计方法可以分为自顶向下(top-down)和自底向上(bottom-up)两类，前者主要是先通过目标检测器检测出图像中的人体检测框，然后对每一个人体检测框进行单人姿态估计产生人体关节点，最后对关节点进行连接形成人体姿态估计结果。自底向上的姿态估计方法与前者正好相反，主要分为关节点检测和关节点聚类两部分，其首先利用单人姿态估计算法将图像中所有的关节点检测出来，然后对不同人体的关节点进行聚类，将属于同一个人体的关节点聚合到一起实现多人姿态估计。

上述两类多人姿态估计方法各有优缺点，top-down方法将人体姿态估计分为人体目标检测和单人姿态估计两步。由于其依赖于性能较好的目标检测算法及单人姿态估计算法，人体姿态估计的准确率较高。但是，该类方法性能受目标检测框质量影响严重，即使最为先进的目标检测器也会存在检测误差，造成人体检测框冗余、漏检和误检等现象。而bottom-up方法不依赖于目标检测器进行人体框的检测，因此其检测速度较快，但是对不同关节点进行聚合时受遮挡影响严重，当多人距离较近时，很容易造成同一人体关节点聚类歧义问题，因此其人体姿态估计准确率较低。

此外，现有的人体姿态估计方法主要针对传统的数据集，如MSCOCO，MPII、LSP等，其包含简单的人体姿态，如站立，走路等。但是，舞蹈动作姿态估计中存在舞蹈动作复杂多变，连贯性强，遮挡问题严重，舞蹈课堂场景中多存在遮挡、光照变化及相机视角变化等干扰因素，极大地增加了舞蹈动作姿态估计的难度。因此，传统人体姿态估计方法存在难以准确估计舞蹈者动作变化的问题。

因此，如何提供一种序列多尺度深度特征融合的层级舞蹈动作姿态估计方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明针对舞蹈图像中人体动作复杂多变、舞蹈动作连贯性强、舞蹈者存在严重遮挡不易检测等特点，传统人体姿态估计方法难以准确估计舞蹈者的动作变化，导致舞蹈动作姿态估计准确率较低的问题，提出一种基于序列多尺度特征融合表示的层级舞蹈动作姿态估计方法，首先针对舞蹈动作骨骼关节点尺度变化剧烈的问题，构建基于序列多尺度特征融合表示的关节点估计模型。其次，针对舞蹈姿态形变较大、遮挡严重的问题，对人体关节点关联性进行分析，设计基于关节点几何关系的层级姿态估计模型，提高舞蹈动作姿态估计的效果。