[发明专利]图像处理的方法及装置

说明书

本说明书实施例提供一种图像处理的方法，巧妙利用特征金字塔网络，根据高阶特征图和低阶特征图的不同特性，基于金字塔状排布的特征图，通过低阶特征图进行语义分割，通过高阶特征图进行实例分割，从而，在一个网络中实现全景分割，实现了一种轻量级的、计算速度较快的全景分割模式。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及利用计算机进行图像处理的方法与装置。

背景技术

目标识别是通过计算机从一幅或多幅图像，或者是视频中，识别出物体的技术。目标识别可以广泛应用于自动驾驶、商品自动补货、车辆损伤识别、人脸考勤、自助购物等等多种场景。全景目标识别通常是针对给定的图像，识别出图像上各种类型的目标（如人物、花草、白云、树木、宠物狗、车辆、工具等等）的识别技术。这种识别技术需要对图像上所有像素所属的目标类别、以及在相应类别（如车辆）的目标中属于哪一个目标（如图像中出现的车辆A还是车辆B）。全景分割通常是实例分割和语义分割的合并。通俗地讲，语义分割可以包括对像素到目标类别的分割，实例分割可以包括对相应类别下具体哪个目标的分割。

常规技术中，通常采用一种 “二阶段”的网络进行全景分割。这种技术中，第一阶段往往利用区域提案网络从图像中获取物体位置，第二阶段可以在区域提案网络的基础上进一步输出目标类别、目标框和目标级别的分割结果。在此基础上，本说明书希望能够在尽可能保持精度的情况下，提供一种更简洁的全景分割方案，使得计算速度更快、计算消耗更小、预测更顺畅。

发明内容

本说明书一个或多个实施例描述了一种图像处理的方法及装置，用以解决背景技术提到的一个或多个问题。

根据第一方面，提供一种图像处理的方法，用于针对待处理图像识别出全景目标，所述方法包括：利用n层特征金字塔网络处理所述待处理图像，得到n个分辨率递减的特征图，其中，第m个特征图为对特征金字塔网络第m层卷积结果的金字塔池化结果，第1个特征图至第m-1个特征图中的第r个特征图由第r+1个特征图经过上采样的结果叠加到第r层卷积结果得到，第m+1个特征图至第n个特征图的分辨率基于第m个特征图递减，且其中的第p个特征图基于对第p-1个特征图的卷积操作结果确定，r、n、m、p都是正整数，且n≥p＞m，m-1≥r≥1；利用所述n个特征图中的前s个特征图，对所述待处理图像进行语义分割处理，得到语义分割结果，s为小于n的正整数；利用所述n个特征图中的后t个特征图，对所述待处理图像进行目标框预测，得到目标预测结果，t为小于n的正整数；融合所述语义分割结果和所述目标预测结果，从而完成对所述待处理图像中的全景目标识别。

根据一个实施例，所述第p个特征图通过以下方式确定：针对第p-1个特征图进行卷积操作，得到第p卷积结果；对第p-1个特征图进行下采样，得到与所述第p卷积结果的分辨率一致的下采样结果；将所述下采样结果叠加到第p卷积结果，从而得到所述第p个特征图。

根据一个实施例，所述利用所述n个特征图中的前s个特征图，对所述待处理图像进行语义分割处理，得到语义分割结果包括：针对前s个特征图中的第2至s个特征图，分别进行卷积操作和上采样操作，以得到和第1个特征图分辨率一致的各个上采样结果；将各个上采样结果与所述第1个特征图相叠，得到叠层特征图；对所述叠层特征图进行卷积操作，使得经过卷积操作处理后，各个像素分别对应有以下属性：所属的目标类别，以及与所属目标中心的偏差。

根据一个实施例，所述利用所述n个特征图中的后t个特征图，对所述待处理图像进行目标框预测，得到目标预测结果包括：针对单个特征图，通过以下方式确定与其对应的单份目标框预测结果：通过第一卷积处理，确定各个特征点分别对应于相应预测框的各个中心度；通过第二卷积处理，进行边框回归。