[发明专利]基于深度解耦的人体实例解析方法、系统

说明书

本发明属于计算机视觉领域，具体涉及一种基于深度解耦的人体实例解析方法、系统，旨在为了解决漏检和误检影响实例人体解析识别精度的问题，本发明方法包括：获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体‑人体部件关联聚类，获取人体实例解析结果。本发明可以提升实例人体解析的识别精度并减少人体实例的漏检和误检。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于深度解耦的人体实例解析方法、系统。

背景技术

人体解析研究将图像中每个人体部件(如头发、脸、躯干、腿等)从背景中提取出来并依据部件类别定义分割成不同语义区域，从而赋予全图每个像素对应的语义类别标签。而实例人体解析则进一步将各人体部件与其从属的人体关联，将各部件的语义区域划分给不同人体实例。当前大部分实例人体解析方法采取先检测再解析的流程，该流程先定位整个人体检测框作为实例，再对每个实例检测框进行像素级语义解析。这类方法由于图像中包含多人且人体姿态多种多样导致两类问题：检测框出现偏差未能包含该人体实例的所有部件因此后续语义解析阶段继承偏差无法解析漏掉的部件；当多个人体实例大面积重叠时，一个检测框中可能包含了多个人体实例无法区别且语义解析阶段仍基于检测框中只包含一个人体实例进行解析导致误识别。

发明内容

为了解决现有技术中的上述问题，即为了解决漏检和误检影响实例人体解析识别精度的问题，本发明的第一方面，提出了一种基于深度解耦的人体实例解析方法，该方法包括以下步骤：

步骤S100，获取输入图像中候选区域的实例检测框和特征；所述候选区域为人体实例的候选区域；所述人体实例包括人体整体实例、人体部件实例；

步骤S200，基于所述候选区域的特征，获取候选区域对应实例的实例掩模和实例特征；

步骤S300，基于各候选区域对应的实例检测框、实例掩模、实例特征，通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果。

在一些优选的实施方式中，步骤S100中“获取输入图像中候选区域的实例检测框和特征”，其方法包括：

步骤S110，基于卷积神经网络提取所述输入图像的图像特征，作为第一特征；

步骤S120，基于所述第一特征，获取所述候选区域的中人体整体实例和人体部件实例的实例检测框，并提取各实例检测框的内图像的特征，作为第二特征。

在一些优选的实施方式中，步骤S110中“基于卷积神经网络提取所述输入图像的图像特征”，其方法包括：

对所述输入图像，通过深度卷积神经网络提取图像特征，并基于可形变卷积的特征金字塔网络提取不同尺度的图像特征。

在一些优选的实施方式中，步骤S200中“获取候选区域对应实例的实例掩模和实例特征”，其方法包括：

步骤S210，基于所述第二特征，提取每个候选区域中的对应人体实例的掩模，作为实例掩模；

步骤S220，基于每个候选区的实例掩模，对相应的第二特征进行加权，获取候选区域中对应人体实例的特征，作为实例特征。

在一些优选的实施方式中，步骤S300中“通过层级式聚类算法进行人体整体-人体部件关联聚类，获取人体实例解析结果”，其方法包括：

步骤S310，根据各候选区域对应的实例检测框进行聚类，得到第一聚类结果I_S1；