[发明专利]基于感兴趣区域变换的人体关键点检测方法、装置与系统

说明书

本发明提供一种基于感兴趣区域变换的人体关键点检测方法、装置与系统，包括模型训练过程和模型检测过程。模型训练过程中，对人体关键点数据进行感兴趣区域变换，并利用变换后的数据训练人体关键点模型的过程。模型检测过程中，根据训练出的人体关键点模型进行人体关键点检测，并反变换得到变换前的图像的人体关键点的过程。本发明通过有效地将数据标准化到统一的形态，克服了开放场景下数据变化大的问题，降低了训练难度，同时通过感兴趣区域变换能够提高在图像中的脸部占比，有助于脸部关键点的预测，进而提升人体关键点整体精度。相比肢体、人脸关键点分开预测的方法来说，本发明方法只需一个人脸检测器和一个关键点检测器，计算开销小。

技术领域

本发明涉及图像处理技术领域，尤其是人脸检测与识别，具体而言涉及基于感兴趣区域变换的人体关键点检测方法、装置与系统。

背景技术

人体关键点检测的任务是检测人体图像中脸部、肢体的关键点位置。非受控场景下的人体图像数据变化较大，例如人群、着装、姿态、遮挡以及背景环境差别较大，而且脸部占比小，给人体关键点检测模型的训练带来了难度。

现有的人体关键点检测方法主要包括两类，一类方法是先检测图像中的人体位置，截取出人体图像，再检测图像中的关键点，但由于脸部在图像中占比很小，导致脸部关键点预测不准确，而脸部关键点的数量往往较多，肢体关键点数量较少，因此会影响整体的精度。

另一类方法是通过检测人体和人脸位置的方式检测出人体的关键点，具体做法是先截取出人体和人脸图像，再分别检测肢体和脸部关键点。这种方法虽然精度较高但需要多个模型预测，计算耗时。

发明内容

本发明目的在于提供一种基于感兴趣区域变换的人体关键点检测方法、装置与系统，以人脸为中心对图像和标注的关键点坐标进行感兴趣区域变换，使用变换后的数据训练人体关键点检测模型，提升人体关键点检测模型精度。

为实现上述目的，本发明的第一方面提出一种基于感兴趣区域变换的人体关键点检测方法，包括以下步骤：

步骤1、获取M张包含人体的彩色图像，M为大于1000的自然数；

步骤2、对每张彩色图像标注N个人体关键点，得到标注数据；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；

步骤3、根据标注的人脸关键点的坐标确定彩色图像的人脸边界框；

步骤4、根据人脸中心点和人脸尺寸对每张彩色图像及标注数据进行感兴趣区域变换，得到变换后的图像及变换后的人体关键点坐标；所述人脸中心点和人脸尺寸根据人脸边界框确定；

步骤5、基于感兴趣区域变换后的图像及变换后的人体关键点坐标，训练用于检测人体关键点的人体关键点检测模型；

步骤6、对于输入的包含人体的待检测图像，使用人脸检测器检测出人脸边界框，然后根据所述步骤4的方法进行感兴趣区域变换，提升图像中人脸的占比，得到变换后的图像；

步骤7、使用步骤5训练获得的人体关键点检测模型检测变换后的图像中的人体关键点；以及

步骤8、将变换后的图像中的人体关键点进行感兴趣区域反变换，得到变换前待检测图像的人体关键点。

本发明的第二方面还提出一种基于感兴趣区域变换的人体关键点检测装置，包括：

用于获取M张包含人体的彩色图像的模块，M为大于1000的自然数；

用于对每张彩色图像标注N个人体关键点，得到标注数据的模块；其中，所述人体关键点包括脸部关键点以及肢体关键点，且脸部关键点数量多于肢体关键点；

用于根据标注的人脸关键点的坐标确定彩色图像的人脸边界框的模块；