[发明专利]一种运动物体实例分割方法

说明书

本发明公开了一种运动物体实例分割方法，包括S1:将视频帧的图像序列通过Flownet2网络方法获得光流估计图像序列以及Mask‑RCNN方法获得实例分割图像序列，共同作为网络的输入，将视频帧的图像序列、光流估计图像序列结果以及实例分割图像序列合并送入U²‑Onet网络中获得运动分割结果，本发明立足于分割出场景中所有运动物体实例，无论物体大或小、连续的两帧中移动物体数量多或少等，不仅可以分割出场景中属于特定预定义语义类别的物体，还可以分割出训练数据中未标注的新的移动物体，还可以高效地实现运动物体实例分割，设计的ORSU模块使得U²‑Onet网络可以将大多数操作应用于下采样的特征图中，提取级内多尺度特征，而不会降低特征图的分辨率，同时极大降低了空间冗余。

技术领域

本发明涉及一种分割方法，特别涉及一种运动物体实例分割方法，属于技术领域。

背景技术

运动物体实例分割是计算机视觉任务中的一项非常关键的技术，它直接关系到许多相关工作的效果，例如物体跟踪，视觉SLAM(Simultaneous Localization and Mapping,及时定位与地图构建)，图像识别等。能够准确地分割视频序列中运动物体,可以极大地改善动态场景中许多任务的效果，例如动态视觉SLAM，动态物体避障和动态物体建模等。当前大多数运动物体实例分割相关方法都旨在对训练集中的N个预定义类别的物体进行分割，但是在实际环境中，自动驾驶和智能机器人等许多应用都需要在开放世界中实现强大的感知能力。这些应用中都需要发现并分割新环境中前所未有的移动对象，无论其是否有特定的语义类别标签。

目前，为了在动态场景中分割多个运动模型，传统的运动分割方法使用强大的几何约束将场景中相同运动的点聚类为一个模型参数实例，从而分割出场景中不同运动的移动对象。这种方法实现了基于特征点的运动分割，而不是逐个像素地进行分割，同时，这类方法的效果不够健壮和通用，比如这类方法大多只能分割场景中较为显著的运动对象，并且一次可以分割的运动模型数量有限。随着深度学习的发展，许多神经网络方法开始发现视频图像对中像素之间的对应关系，称为光流估计。在计算机视觉中，光流表示视频当前图像帧中的像素点移动到下一帧的移动量，使用二维向量表示，光流是由物体或相机的移动引起的，实现了逐像素的估计。但是，在光流估计中没有实现物体实例级的分割，也就是说，它们只估计出每个像素的移动量，并不知道哪个像素属于哪个对象。在物体实例级分割中，实例/语义分割和物体检测已经被很好的研究，这些方法用于在带标注真值的数据中训练分割特定带语义标签类别的物体，因此主要关注于对含有预定义语义类别的物体的分割，而不是所有移动物体实例的分割，无法分割不属于预定义语义类别的移动物体，因此，他们无法分割训练数据中未看到的新对象。而我们的目标是分割出动态场景中的所有运动物体实例，无论该物体是否属于训练集中预先定义的类别。

发明内容

本发明的目的在于提供一种运动物体实例分割方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种运动物体实例分割方法，包括以下步骤：

S1：将视频帧的图像序列通过Flownet2网络方法获得光流估计图像序列以及Mask-RCNN方法获得实例分割图像序列，共同作为网络的输入，将视频帧的图像序列、光流估计图像序列结果以及实例分割图像序列合并送入U²-Onet网络中获得运动分割结果；

S2：通过运动分割网络的输出获得运动物体分割的结果，并提取运动轮廓的结果，将实例分割的结果与运动轮廓提取结果融合，获得实例级别的运动物体的分割结果。

作为本发明的一种优选技术方案，所述U²-Onet网络主要包括步骤a1：