[发明专利]图像分割方法和装置、模型训练方法和装置

权利要求书

1.一种图像分割方法，包括：

获取视频帧序列中的当前帧、及在前的视频帧所传递的历史仿射变换信息；所述历史仿射变换信息是对在前的视频帧执行图像分割操作时所得到的已经修正的、且用于当前帧进行仿射变换的信息；

依据所述历史仿射变换信息对所述当前帧进行仿射变换，得到与所述当前帧对应的候选区域图像；

对所述候选区域图像进行特征提取，得到所述候选区域图像对应的特征图；

基于所述特征图进行语义分割，得到所述当前帧中的目标对应的分割结果；

根据所述特征图对所述历史仿射变换信息进行修正，得到更新的仿射变换信息，并将所述更新的仿射变换信息作为所述视频帧序列中在后的视频帧所对应的历史仿射变换信息。

2.根据权利要求1所述的方法，其特征在于，当所述当前帧为初始视频帧时，所述获取视频帧序列中的当前帧、及在前的视频帧所传递的历史仿射变换信息，包括：

获取视频帧序列中的初始视频帧；

通过第一卷积神经网络提取所述初始视频帧的图像特征；

将所述图像特征输入至包括至少一个输出通道的第一全连接网络，并通过所述第一全连接网络对所述图像特征进行处理，通过所述至少一个输出通道输出仿射变换信息；

将输出的所述仿射变换信息作为所述初始视频帧对应的历史仿射变换信息。

3.根据权利要求1所述的方法，其特征在于，对所述候选区域图像进行特征提取所得到的特征图融合了所述视频帧序列所包括的光流信息。

4.根据权利要求1所述的方法，其特征在于，所述基于所述特征图进行语义分割，得到所述当前帧中的目标对应的分割结果，包括：

通过全卷积神经网络对所述特征图进行上采样处理，得到中间图像；

通过所述全卷积神经网络对所述中间图像中的各像素分别进行像素级分类，得到各像素所对应的类别；

依据各像素所对应的类别，输出对所述当前帧中的目标进行语义分割的分割结果。

5.根据权利要求4所述的方法，其特征在于，所述依据各像素所对应的类别，输出对所述当前帧中的目标进行语义分割的分割结果，包括：

确定所述中间图像中对应目标类别的像素；

从所述中间图像中，分割出由对应所述目标类别的各所述像素所组成的、且包括目标对象的目标分割区域。

6.根据权利要求1所述的方法，其特征在于，所述根据所述特征图对所述历史仿射变换信息进行修正，得到更新的仿射变换信息，并将所述更新的仿射变换信息作为所述视频帧序列中在后的视频帧所对应的历史仿射变换信息，包括：

通过包括至少一个输出通道的第二全连接网络，对所述特征图进行处理，通过所述至少一个输出通道输出仿射变换差异结果；

依据所述仿射变换差异结果和所述在前的视频帧所传递的历史仿射变换信息，计算得到当前帧所传递的更新的仿射变换信息；

将所述当前帧所传递的更新的仿射变换信息，作为所述视频帧序列中在后的视频帧所对应的历史仿射变换信息。

7.根据权利要求1所述的方法，其特征在于，所述方法通过目标分割模型执行；所述对所述候选区域图像进行特征提取，得到所述候选区域图像对应的特征图，包括：

通过所述目标分割模型中的第二卷积神经网络，对所述候选区域图像进行特征提取，得到所述候选区域图像对应的特征图；

所述基于所述特征图进行语义分割，得到所述当前帧中的目标对应的分割结果，包括：

通过所述目标分割模型中的全卷积神经网络，对所述特征图进行语义分割处理，得到所述当前帧中的目标对应的分割结果；

所述根据所述特征图对所述历史仿射变换信息进行修正，得到更新的仿射变换信息，包括：

通过所述目标分割模型中的第二全连接网络对所述历史仿射变换信息进行修正，得到更新的仿射变换信息。