[发明专利]一种基于惯性传感器与多功能相机的多人姿态估计方法

说明书

本发明公开了一种基于惯性传感器与多功能相机的多人姿态估计方法，一种基于惯性传感器与多功能相机的多人姿态估计方法，包括以下步骤：S1，对多目标人物进行红外油墨标注；S2，拍摄获取多视角图像；S3，重建出人体3D姿态；S4，优化得到所有目标人物的精确3D姿态。利用多功能相机中的红外功能得到多个目标人物的标签，根据目标人物与惯性传感器的匹配关系，从惯性传感器中提取出目标人物对应关节的朝向信息，建立人体运动学模型，利用关节朝向信息，优化运动参数并根据优化后的运动参数计算出更加准确的目标人物的三维姿态，显著提高多人三维姿态估计的准确性。

技术领域

本发明涉及人工智能技术领域，尤其是一种基于惯性传感器与多功能相机的多人姿态估计方法。

背景技术

人体姿态估计在计算机视觉中是一个基础的问题，从字面意义来讲，其主要研究的是人体姿态位置的估计，通常对于一个人的具体姿态，可以通过人的17个关键点来表示，这17个关键点包括：0：鼻子、1：左眼、2：右眼、3：左耳、4：右耳、5：左肩、6：右肩、7：左肘、8：右肘、9：左腕、10：右腕、11：左胯、12：右胯、13：左膝、14：右膝、15：左踝、16：右踝，并且随着场景的不同，人体姿态估计也被分的越来越细，目前学界普遍在做四个基本任务：1、单人姿态估计，2、多人姿态估计，3、人体姿态跟踪，4、多人三维人体姿态估计，这四个任务难度依次加深，并且后一个任务一般都建立在前面任务的基础上。

多人三维人体姿态估计的传统方法是：1、输入多视角图像；2、对多视角图像分别都进行二维姿态估计，检测出2D关节点位置；3、分别找出不同视角下同一个人的位置，进行跨视角匹配；4、使用三角化方法，重构出目标人物的三维关键点位置。但是传统的基于纯计算机视觉的方法是基于二维检测结果来重构出三维关键点位置的，二维检测结果受到互遮挡、自遮挡、复杂背景干扰等问题，这就导致了三维人体姿态估计的结果并不能达到某些场景的要求。

随着技术发展，惯性传感器开始慢慢进入研究人员视线。科研人员开始利用惯性传感器的信息来加强三维检测的结果。比如，为了研究人体的运动，大部分关于人体姿态估计的文章会将人体简化为多刚体系统，人体姿态估计在三维空间中存在6个自由度，包括各个肢体的位置和方向。通过提取惯性传感器中加速度计、陀螺仪、磁力计等电子器件的信息，就可以得到肢体的位置和方向。将这些信息运用到人体运动学模型中，就可以得到目标人物在三维空间中的关节点位置。

在中国专利文献上公开的“一种结合注意力机制和部分亲和域场的人体姿态估计方法”，其公开号为CN111860216A，公开日为2020-10-30，该发明公开了一种结合注意力机制和部分亲和域场的人体姿态估计方法，首先获取人体姿态估计的公用数据集；将公用数据集中的待测图像输入到沙漏堆栈网络，通过多语境注意力模型得到人体全局注意力图；将人体全局注意力图输入到多阶段双分支网络；采用损失函数引导多阶段双分支网络对人体全局注意力图进行预测并迭代，直至多阶段双分支网络收敛，获得人体局部注意力图和部分亲和域场；最后，对人体局部注意力图和部分亲和域场进行聚类，得到待测图像中人体姿态估计结果。该发明一种结合注意力机制和部分亲和域场的人体姿态估计方法，解决了现有技术中存在的人体姿态估计方法对复杂连续姿态的鲁棒性较差的问题。但是该发明并未涉及到惯性传感器与多功能红外相机结合的方法。

发明内容

本发明解决了现有基于纯计算机视觉方法三维重构出的目标人物的关节点位置不准确的问题，提出一种基于惯性传感器与多功能相机的多人姿态估计方法，利用多功能相机中的红外功能得到多个目标人物的标签，根据目标人物与惯性传感器的匹配关系，从惯性传感器中提取出目标人物对应关节的朝向信息，建立人体运动学模型，利用关节朝向信息，优化运动参数并根据优化后的运动参数计算出更加准确的目标人物的三维姿态，从而提高多人三维姿态估计的准确性。

为了实现上述目的，本发明采用以下技术方案：一种基于惯性传感器与多功能相机的多人姿态估计方法，包括以下步骤：

S1，对多目标人物进行红外油墨标注；

S2，拍摄获取多视角图像；