[发明专利]图像处理的方法及装置

权利要求书

1.一种图像处理的方法，用于针对待处理图像识别出全景目标，所述方法包括：

利用n层特征金字塔网络处理所述待处理图像，得到n个分辨率递减的特征图，其中，第m个特征图为对特征金字塔网络第m层卷积结果的金字塔池化结果，第1个特征图至第m-1个特征图中的第r个特征图由第r+1个特征图经过上采样的结果叠加到第r层卷积结果得到，第m+1个特征图至第n个特征图的分辨率基于第m个特征图递减，且其中的第p个特征图基于对第p-1个特征图的卷积操作结果确定，r、n、m、p都是正整数，且n≥p＞m，m-1≥r≥1；

利用所述n个特征图中的前s个特征图，对所述待处理图像进行语义分割处理，得到语义分割结果，s为小于n的正整数，所述语义分割结果指示出各个像素对应的目标类别；

利用所述n个特征图中的后t个特征图，对所述待处理图像基于特征点的中心度和边框回归进行目标框标注，得到目标预测结果，t为小于n，大于n-s的正整数，所述目标预测结果包括多个矩形的预测框，单个预测框对应一个或多个特征点，单个特征点按照相应特征图与所述待处理图像的缩小倍数，对应所述待处理图像上的多个像素点，中心度用于表示单个特征点在相应预测框对应的一个或多个特征点构成的矩形区域中位于中心的程度，并通过相应特征点到该矩形区域的一组相对边或者一组相对角顶点的两个距离的比值确定，边框回归的目标是，使得预测框所包围的像素，在该预测框中的中心度更接近相应特征点在指向该预测框的各个特征点中的中心度；

针对所述目标预测结果中的各个预测框，分别融合所述语义分割结果中相应的若干像素各自对应的目标类别，以得到各个预测框对应的识别目标，从而完成对所述待处理图像中的全景目标识别。

2.根据权利要求1所述的方法，其中，所述第p个特征图通过以下方式确定：

针对第p-1个特征图进行卷积操作，得到第p卷积结果；

对第p-1个特征图进行下采样，得到与所述第p卷积结果的分辨率一致的下采样结果；

将所述下采样结果叠加到第p卷积结果，从而得到所述第p个特征图。

3.根据权利要求1所述的方法，其中，所述利用所述n个特征图中的前s个特征图，对所述待处理图像进行语义分割处理，得到语义分割结果包括：

针对前s个特征图中的第2至s个特征图，分别进行卷积操作和上采样操作，以得到和第1个特征图分辨率一致的各个上采样结果；

将各个上采样结果与所述第1个特征图相叠，得到叠层特征图；

对所述叠层特征图进行卷积操作，使得经过卷积操作处理后，各个像素分别对应有以下属性：所属的目标类别，以及与所属目标中心的偏差。

4.根据权利要求1所述的方法，其中，所述利用所述n个特征图中的后t个特征图，对所述待处理图像基于特征点的中心度和边框回归进行目标框预测，得到目标预测结果包括：

针对单个特征图，通过以下方式确定与其对应的单份目标框预测结果：

通过第一卷积处理，确定各个特征点分别对应于相应预测框的各个中心度；

通过第二卷积处理，进行边框回归。

5.根据权利要求4所述的方法，其中，所述预测框为矩形框，所述矩形框包括两组相对边界，单个特征点与相应预测框的一组相对边界对应有第一距离和第二距离，且第一距离小于第二距离，所述单个特征点与相应预测框的另一组相对边界对应有第三距离和第四距离，且第三距离小于第四距离，所述单个特征点的中心度与第一距离和第二距离的比值正相关，且与第三距离和第四距离的比值正相关。

6.根据权利要求4所述的方法，其中，所述目标框预测结果包括多个预测框，所述融合所述语义分割结果和所述目标预测结果包括：

按照所述语义分割结果确定各个预测框分别对应的各个目标类别；

对各个目标类别下的预测框，分别按照特征点的中心度由大到小的顺序，执行分割操作。

7.根据权利要求6所述的方法，其中，所述分割操作进一步包括：

按照相应特征点对应的各个像素的颜色值，将预测框内对应同一个目标类别的像素描绘在与待处理图像大小一致的画布上。