[发明专利]图像处理方法及装置、电子设备和存储介质

说明书

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：获取多帧图像以及所述多帧图像中第一帧图像内的目标对象的掩码图；根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域；基于每两个相邻帧图像之间的光流，从各帧图像的第一对象中确定出所述目标对象。本公开能够提高识别和分割目标对象速度。

技术领域

本公开涉及计算机视觉领域，特别涉及一种图像处理方法及装置、电子设备和存储介质。

背景技术

视频对象分割是计算机视觉中很有挑战性的视觉任务。其中，视频对象分割通常需要实现目标对象在各帧图像之间的分割，即在每个时间帧的图像中检测出目标对象，从而实现目标对象的跟踪、分析等处理。该过程需要完成帧内物体分割，以及帧间物体的关联。

目前的技术方案中，需要反复离线遍历视频多次来找到丢失的物体，无法满足实时需求。

发明内容

本公开实施例提供了一种提高识别和分割目标对象速度的图像处理方法及装置、电子设备和存储介质。

根据本公开的一方面，提供了一种图像处理方法，其包括：

获取多帧图像以及所述多帧图像中第一帧图像内的目标对象的掩码图；

根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域；

基于每两个相邻帧图像之间的光流，从各帧图像的第一对象中确定出所述目标对象。

在一些可能的实施方式中，所述检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，包括：

获取各帧图像的多尺度特征图；

根据各帧图像对应的所述多尺度特征图，获得各帧图像针对所述第一对象的概率特征图，所述概率特征图表示图像中对应像素点为与所述目标对象为相同类型的第一对象的概率；

基于得到的所述概率特征图，确定各帧图像中的第一对象所在的第一位置区域。

在一些可能的实施方式中，所述根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，包括：

通过第一神经网络根据所述掩码图确定所述目标对象的类型，并检测各帧图像内与所述目标对象为相同类型的第一对象所在的第一位置区域，

其中，所述第一神经网络包括Mask R-CNN网络。

在一些可能的实施方式中，所述基于得到的所述概率特征图，确定各帧图像中的第一对象所在的第一位置区域，包括：

利用所述概率特征图中概率值大于概率阈值的像素点所形成的区域确定为所述第一对象的第二位置区域；

对所述第二位置区域进行优化处理，对应的得到所述第一位置区域。

在一些可能的实施方式中，所述对所述第二位置区域进行优化处理，对应的得到所述第一位置区域，包括：

按照预设放大倍数，将各帧图像的所述概率特征图中的第二位置区域进行放大处理；

将各帧图像的多尺度特征图中表示第一对象的特征图调整成与所述放大后的第二位置区域一致的尺度；

将所述第二位置区域对应的概率特征图与调整尺度后的第一对象的各特征图分别执行乘积处理；

对所述乘积处理后得到的特征图执行卷积处理和特征融合处理，得到各帧图像中第一对象的优化后的第一位置区域。