[发明专利]图像处理方法及其模型的训练方法、装置和电子系统

权利要求书

1.一种图像处理模型的训练方法，其特征在于，包括：

通过预设的特征提取网络和区域候选网络获取目标训练图像的候选区域；其中，所述目标训练图像中包含多种实例，每种实例具有多个；

通过预设的定位分割网络对所述候选区域进行实例定位和实例分割，并计算所述实例定位和所述实例分割的损失值，得到包含有实例的定位区域、分割区域、定位损失值和分割损失值；

通过预设的分类网络对所述候选区域进行分类，并计算所述分类的损失值，得到所述候选区域的分类结果和分类损失值；

根据所述定位损失值、所述分割损失值和所述分类损失值对所述特征提取网络、所述区域候选网络、所述定位分割网络和所述分类网络进行训练，直至所述定位损失值、所述分割损失值和所述分类损失值均收敛，得到图像处理模型；

所述通过预设的特征提取网络和区域候选网络获取目标训练图像的候选区域的步骤，包括：

通过预设的特征提取网络对目标训练图像进行特征提取处理，得到所述目标训练图像的初始特征图；对所述初始特征图进行特征融合处理，得到融合特征图；通过预设的区域候选网络，从所述融合特征图中提取候选区域。

2.根据权利要求1所述的方法，其特征在于，所述定位分割网络包括卷积网络；所述分类网络包括全连接网络。

3.根据权利要求2所述的方法，其特征在于，通过预设的定位分割网络对所述候选区域进行实例定位和实例分割的步骤，包括：

将所述候选区域的尺寸调整至与所述卷积网络相匹配的尺寸；

通过所述卷积网络对调整后的所述候选区域进行实例检测处理和实例分割处理，得到包含有完整实例的定位区域和分割区域；所述定位区域通过检测框标识；所述分割区域通过颜色标识。

4.根据权利要求3所述的方法，其特征在于，所述目标训练图像中携带有各实例对应的定位标签和分割标签；

所述计算所述实例定位和所述实例分割的损失值的步骤，包括：将所述定位区域、所述定位区域包含的实例对应的定位标签代入至预设的定位损失函数中，得到定位损失值；

将所述分割区域、所述分割区域包含的实例对应的分割标签代入至预设的分割损失函数中，得到分割损失值。

5.根据权利要求2所述的方法，其特征在于，通过预设的分类网络对所述候选区域进行分类的步骤，包括：

将所述候选区域的尺寸调整至与所述全连接网络相匹配的尺寸；

将调整后的所述候选区域输入至所述全连接网络中，输出所述候选区域的分类结果。

6.根据权利要求5所述的方法，其特征在于，所述目标训练图像中携带有各实例对应的分类标签；

所述计算所述分类的损失值的步骤，包括：将所述候选区域的分类结果、所述候选区域中包含的实例对应的分类标签代入至预设的分类损失函数中，得到分类损失值。

7.一种图像处理方法，其特征在于，所述方法应用于配置有图像处理模型的设备；所述图像处理模型为权利要求1至6任一项所述方法训练得到的图像处理模型；所述方法包括：

获取待处理图像；

将所述待处理图像输入至所述图像处理模型中，输出所述待处理图像中各个实例的定位区域、分割区域和分类结果。

8.根据权利要求7所述的方法，其特征在于，获取待处理图像的步骤，包括：通过车辆的摄像装置采集待处理图像；

输出所述待处理图像中各个实例的定位区域、分割区域和分类结果的步骤之后，所述方法还包括：根据所述定位区域、所述分割区域和所述分类结果生成驾驶命令，以使所述车辆根据所述驾驶命令进行自动驾驶。