[发明专利]图像处理方法及其模型的训练方法、装置和电子系统

说明书

本发明提供了一种图像处理方法及其模型的训练方法、装置和电子系统；其中，该方法包括：通过特征提取网络和区域候选网络获取目标训练图像的候选区域；通过定位分割网络对候选区域进行实例定位和实例分割并计算损失值，得到包含有实例的定位区域、分割区域、定位损失值和分割损失值；通过分类网络对候选区域进行分类并计算损失值，得到候选区域的分类结果和分类损失值；根据各个损失值对上述各个网络进行训练，直至各个损失值均收敛，得到图像处理模型。本发明中，实例定位和实例分割采用同一个分支网络实现，使得实例定位和实例分割能够共享特征信息并相互促进，有利于提高实例定位和实例分割的准确度，进而提高了实例定位、分割和分类整体的准确度。

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像处理方法及其模型的训练方法、装置和电子系统。

背景技术

实例分割(Instance Segmentation)是计算机视觉的一项重要任务，可以为图片中的各个目标提供实例级的检测和分割。实例分割为计算机更准确地理解图片提供了重要的线索，对自动驾驶等领域有着重要的作用。相关技术中，实例分割主要是基于经典的目标检测方法FPN(Feature Pyramid Network，特征金字塔网络)实现，并在FPN基础上扩展了实现实例分割的一个分支。这种方式将实例分割分为了检测部分和分割部分；其中，检测部分包括定位任务和分类任务，通过同一分支网络实现；分割部分通过单独的分支网络完成。

然而，上述方式通过简单的增加分支网络实现分割部分，并没有对各个任务的特性进行很好的整合。例如，对于分类任务和定位任务，两者之间具有很大的差异性，分类任务需要全局的语义信息，而定位任务则需要局部的边缘信息；二者通过同一分支网络实现，易造成信息缺失，导致最终的实例分割准确性较差。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法及其模型的训练方法、装置和电子系统，以提高实例定位和实例分割的准确度，进而提高实例定位、分割和分类整体的准确度。

第一方面，本发明实施例提供了一种图像处理模型的训练方法，包括：通过预设的特征提取网络和区域候选网络获取目标训练图像的候选区域；通过预设的定位分割网络对候选区域进行实例定位和实例分割，并计算实例定位和实例分割的损失值，得到包含有实例的定位区域、分割区域、定位损失值和分割损失值；通过预设的分类网络对候选区域进行分类，并计算分类的损失值，得到候选区域的分类结果和分类损失值；根据定位损失值、分割损失值和分类损失值对特征提取网络、区域候选网络、定位分割网络和分类网络进行训练，直至定位损失值、分割损失值和分类损失值均收敛，得到图像处理模型。

在本发明较佳的实施例中，上述定位分割网络包括卷积网络；分类网络包括全连接网络。

在本发明较佳的实施例中，上述通过预设的特征提取网络和区域候选网络获取目标训练图像的候选区域的步骤，包括：通过预设的特征提取网络对目标训练图像进行特征提取处理，得到目标训练图像的初始特征图；对初始特征图进行特征融合处理，得到融合特征图；通过预设的区域候选网络，从融合特征图中提取候选区域。

在本发明较佳的实施例中，上述通过预设的定位分割网络对候选区域进行实例定位和实例分割的步骤，包括：将候选区域的尺寸调整至与卷积网络相匹配的尺寸；通过卷积网络对调整后的候选区域进行实例检测处理和实例分割处理，得到包含有完整实例的定位区域和分割区域；定位区域通过检测框标识；分割区域通过颜色标识。

在本发明较佳的实施例中，上述目标训练图像中携带有各实例对应的定位标签和分割标签；计算实例定位和实例分割的损失值的步骤，包括：将定位区域、定位区域包含的实例对应的定位标签代入至预设的定位损失函数中，得到定位损失值；将分割区域、分割区域包含的实例对应的分割标签代入至预设的分割损失函数中，得到分割损失值。