[发明专利]人体结构化信息解析方法及系统

说明书

本发明实施例提供了一种人体结构化信息解析方法及系统，所述方法首先获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；然后基于所述彩色图像中的R、G、B三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。由于引入了深度图像中的深度信息，不仅可以使得到的人体结构解析结果排除复杂场景下的环境干扰，更加准确。还可以实现各种复杂场景下的自动化、智能化的人体结构标注过程，通过对人体结构进行解析，为各种与之相关场景下的模型练提供数据支持。

技术领域

本发明涉及计算机技术领域，更具体地，涉及人体结构化信息解析方法及系统。

背景技术

随着计算机视觉的不断发展，基于深度学习的算法层出不穷，针对特定的领域，所有的深度学习算法都面临数据问题，需要大量人工采集和标注工作，才能使得模型在该领域下达到较好的结果。

目前针对人工智能中与人体相关的某些复杂场景，对人群行为进行分析的难度很大。而在一些特征的场景，比如在安全领域中，通常需要知道工人有无佩戴安全帽，正确穿戴工装等，医生是否在手术中正确着装等。若要在实际应用场景中获得较好的效果，则需要针对现场的具体情况进行数据采集，采集的数据需要包含各种实际情况，人体是一个非刚体的系统，所有的姿势变化均需要覆盖，这样训练数据集的采集与标注将花费大量的人力。所以，目前需要一种适用于各类实际应用场景，针对各种人体姿态的自动化与智能化的数据采集与标注方法，降低数据采集与标注中的工作量，解决训练样本量不足的问题，辅助场景分析，提高算法在实际应用中的效果。

目前人工智能领域中，与人(人脸，行人，帽子，衣着，鞋子)相关的检测或分割数据通常需要人工进行标注，需要大量的人工才能标注足够的数据用于训练深度学习模型。另外，现有技术中也存在通过人体结构化信息解析方法实现对人体结构进行标注，现有的人体结构化信息解析方法通常是基于2D的人体结构解析(human parsing)算法实现和基于3D的人体结构解析算法实现。对于基于2D的人体结构解析算法，这种算法不仅可以解析出人体结构，还可以解析出与人体结构本身无关的部分，例如衣服，帽子，配饰等。但是在复杂场景下受到环境的干扰后非常容易失效，例如对于存在多人共同存在的场景或人体处于复杂背景的情况下，将会存在目标人像与其他人像或背景图像重叠的情况发生，将会导致对目标人像的人体结构解析结果不准确，产生误差。对于基于3D的人体结构解析算法，这种算法通常只能解析出人体结构，不会解析与人体结构本身无法的部分。

因此，现急需提供一种人体结构化信息解析方法及系统。

发明内容

为克服上述问题或者至少部分地解决上述问题，本发明实施例提供了一种人体结构化信息解析方法及系统。

第一方面，本发明实施例提供了一种人体结构化信息解析方法，包括：

获取彩色图像和所述彩色图像对应的深度图像，所述彩色图像中包含有目标人像；

基于所述彩色图像中的R、G、B三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息。

优选地，所述基于所述彩色图像中的R、G、B三通道信息以及所述深度图像中的深度信息，确定所述目标人像的结构化信息，具体包括：

将所述彩色图像和所述深度图像同时输入至卷积神经网络模型，由所述卷积神经网络模型基于所述彩色图像中的R、G、B三通道信息以及所述深度图像中的深度信息，输出所述目标人像的结构化信息；

其中，所述卷积神经网络模型基于样本彩色图像、所述样本彩色图像对应的深度图像以及所述样本彩色图像中样本人像对应的结构化信息训练得到。

优选地，所述目标人像的结构化信息具体包括所述目标人像的各个结构及对应的标注信息；相应地，所述方法还包括：