[发明专利]基于标签传播算法的多视角人体姿态重建方法

说明书

本发明公开了一种基于标签传播算法的多视角人体姿态重建方法，包括以下步骤：搭建多相机捕捉系统，对多相机捕捉系统中多个工业相机的内参和外参进行标定；利用多相机捕捉系统采集数字信息，将数字信息转码为RGB输入图像；利用预先训练完成的卷积神经网络对输入图像进行姿态估计，得到每个视角下的人体关节候选节点；根据每个视角下的人体关节候选节点求得关节亲和度、极线距离和重投影误差，通过关节亲和度、极线距离和重投影误差构造概率图；利用COPRA社区发现算法对概率图进行求解，得到每个节点的社区隶属关系，利用每个节点的社区隶属关系重建人体的三维骨架姿态。该方法无需依赖可穿戴传感器，操作过程简单且计算量需求小。

技术领域

本发明涉及计算机视觉领域和机器学习技术领域，特别涉及一种基于标签传播算法的多视角人体姿态重建方法。

背景技术

近年来，人体运动捕捉技术在影视、体育、安防等领域得到了广泛的应用。传统的光学动作捕捉方式在人体表面贴上光学标记点，通过多个视角的高速相机对标记点进行捕捉，从而还原出人体的姿态，但光学动捕设备价格对光学干扰很敏感，并且设备昂贵笨重，架设繁琐，难以推广使用。新兴的惯性动捕系统在人体上佩戴陀螺仪、加速度计等惯性传感器，获得人体肢体的运动数据，再通过计算机处理还原出人体姿态，提高了系统的便携性和鲁棒性，并且解决了光学动捕对于遮挡严重时效果不理想的问题。随着计算机算力的提高和深度神经网络的发展，越来越多的无标记人体捕捉方法相继提出，在苹果公司2018年的发布会上介绍了篮球教练软件HomeCourtAI，只需要通过手机后置摄像头拍摄一段投篮训练视频，就可以通过卷积神经网络进行人体姿态估计，统计投篮者的各项投篮信息，包括出手速度，投篮角度，屈膝幅度等，进而提出训练建议。

在嘈杂的多人交互环境中重建人体的体型和姿态信息一直是计算机视觉领域的一个热点和难点问题，此前一些无标记人体重建研究采用多目系统来解决单个视角下人体自遮挡带来的深度歧义问题，提出了一种两步式流水线，第一步先在各个视角下对人体关节和肢体进行检测，第二步再通过多视角一致性和人体特征信息3DPS(3Dpictorialstructure)对不同视角下的人的个体进行配对。这种方法的局限性在于如果第一步在单个视角下执行了错误的分配，会大大影响第二步ReID的结果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于标签传播算法的多视角人体姿态重建方法，该方法无需依赖可穿戴传感器，操作过程简单且计算量需求小。

为达到上述目的，本发明实施例提出了基于标签传播算法的多视角人体姿态重建方法，包括以下步骤：搭建多相机捕捉系统，对多相机捕捉系统中多个工业相机的内参和外参进行标定；利用多相机捕捉系统采集数字信息，将数字信息转码为RGB输入图像；利用预先训练完成的卷积神经网络对RGB输入图像进行姿态估计，得到每个视角下的人体关节候选节点；根据每个视角下的人体关节候选节点求得关节亲和度、极线距离和重投影误差，通过关节亲和度、极线距离和重投影误差构造概率图；利用COPRA社区发现算法对概率图进行求解，得到每个节点的社区隶属关系，利用每个节点的社区隶属关系重建人体的三维骨架姿态。

本发明实施例的基于标签传播算法的多视角人体姿态重建方法，使用卷积神经网络对多视角RGB图像进行姿态估计，并且将关节分配问题建模为一个概率图问题，使用标签传播算法进行快速求解，对人与人出现紧密交互的情况也能有较好的表现，改进当前人体姿态捕捉需要穿戴繁琐设备以及求解关节分配问题计算资源需求庞大无法满足实时性的不足。

另外，根据本发明上述实施例的基于标签传播算法的多视角人体姿态重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，述多相机捕捉系统包括多个工业相机、同步盒、同步线、传输光缆、采集卡和处理器，其中，所述多个工业相机呈环形架结构，利用所述同步盒和所述同步线对所述多个工业相机进行硬件同步，利用所述传输光缆和所述采集卡将所述多个工业相机与所述处理器连接。