[发明专利]图像处理方法及装置、电子设备和存储介质

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取多帧图像以及所述多帧图像中第一帧图像内的目标对象的掩码图；

根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域；

基于每两个相邻帧图像之间的光流，从各帧图像的第一对象中确定出所述目标对象。

2.根据权利要求1所述的方法，其特征在于，所述检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，包括：

获取各帧图像的多尺度特征图；

根据各帧图像对应的所述多尺度特征图，获得各帧图像针对所述第一对象的概率特征图，所述概率特征图表示图像中对应像素点为与所述目标对象为相同类型的第一对象的概率；

基于得到的所述概率特征图，确定各帧图像中的第一对象所在的第一位置区域。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，包括：

通过第一神经网络根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，

其中，所述第一神经网络包括Mask R-CNN网络。

4.根据权利要求2所述方法，其特征在于，所述基于得到的所述概率特征图，确定各帧图像中的第一对象所在的第一位置区域，包括：

利用所述概率特征图中概率值大于概率阈值的像素点所形成的区域确定为所述第一对象的第二位置区域；

对所述第二位置区域进行优化处理，对应的得到所述第一位置区域。

5.根据权利要求4所述的方法，其特征在于，所述对所述第二位置区域进行优化处理，对应的得到所述第一位置区域，包括：

按照预设放大倍数，将各帧图像的所述概率特征图中的第二位置区域进行放大处理；

将各帧图像的多尺度特征图中表示第一对象的特征图调整成与所述放大后的第二位置区域一致的尺度；

将所述第二位置区域对应的概率特征图与调整尺度后的第一对象的各特征图分别执行乘积处理；

对所述乘积处理后得到的特征图执行卷积处理和特征融合处理，得到各帧图像中第一对象的优化后的第一位置区域。

6.根据权利要求4或5所述的方法，其特征在于，所述对所述第二位置区域进行优化处理，对应的得到所述第一位置区域包括：通过第二神经网络对所述第二位置区域进行优化处理，对应的得到所述第一位置区域，

所述第二神经网络包括卷积层和特征融合层。

7.根据权利要求1-6中任意一项所述的方法，其特征在于，所述基于每两个相邻帧图像之间的光流，从各帧图像的第一对象中确定出所述目标对象，包括：

利用光流估计模型获得所述多帧图像中每两个相邻帧图像之间的光流；

按照时间帧的顺序，根据第i帧图像以及第i+1帧图像之间的光流，得到第i+1帧图像的校验图，所述第i+1帧图像的校验图中包括目标对象的预测位置区域，其中i为大于零且小于或者小于N的正整数，N表示图像的个数；

在所述第i+1帧图像的校验图中的目标对象的预测位置区域与所述第i帧图像中的第一对象所在的第一位置区域满足第一关系的情况下，将第i+1帧图像中的该第一对象确定成与所述目标对象。

8.一种图像处理装置，其特征在于，包括：

获取模块，其用于获取多帧图像以及所述多帧图像中第一帧图像内的目标对象的掩码图；

检测模块，其用于根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域；

确定模块，其用于基于每两个相邻帧图像之间的光流，从各帧图像的第一对象中确定出所述目标对象。