[发明专利]场景流的确定方法及装置、存储介质、电子装置

说明书

本发明实施例提供了一种场景流的确定方法及装置、存储介质、电子装置，该方法包括：确定获取的双目图像中的像素点的处理参数，其中，处理参数包括双目图像的实例分割结果、光流结果以及视差结果；基于处理参数确定双目图像的场景流能量函数；优化场景流能量函数，得到目标场景流能量函数；基于目标场景流能量函数确定双目图像中的像素点的场景流。通过本发明，解决了相关技术中求解能量函数的速度和精度不足的问题，达到提升求解复杂能量函数的求解速度和精度的效果。

技术领域

本发明实施例涉及图像领域，具体而言，涉及一种场景流的确定方法及装置、存储介质、电子装置。

背景技术

场景流估计旨在通过两张连续的双目图像估计三维运动矢量，即图像中每个点在前后两帧的变化情况。场景流的准确估计对于机器人技术的发展极其重要，在其中用于实现动态环境中的自主导航与操纵。场景流的估计不仅可以让机器准确定位，还能提升对周围物体移动的感知和预判能力，从而在规划路径的过程中避免碰撞。目前，计算场景流的方法主要有两种，分别是基于双目立体视觉和基于红绿蓝深度图RGBD计算场景流。深度传感器的使用可以直接利用传感器获取较为精确的深度信息，可以提高准确性并节省时间。但是，基于RGBD方法在遮挡处容易造成误差甚至错误。基于双目立体匹配的方法，主要是通过双目相机拍摄的左右图推测视差进而深度信息，以及前后两帧图像的光流信息，通过深度信息和光流信息解算场景流结果。这种方法由于估计是视差图而额外消耗了很多时间，而且通过光流和视差信息求解场景流的过程耗时严重，很难达到实时预测。除此之外，深度学习在各个领域的表现逐步超越传统算法，但是深度学习严重依赖于人工标注数据的准确性，而场景流结果表示了每个像素的运动状态，无法标注，从而在使用深度学习方法求解受限。

针对现有技术中求解能量函数速度和精度的不足的问题，相关技术中尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种场景流的确定方法及装置、存储介质、电子装置，以至少解决相关技术中求解能量函数的速度和精度不足的问题。

根据本发明的一个实施例，提供了一种场景流的确定方法，包括：确定获取的双目图像中的像素点的处理参数，其中，上述处理参数包括上述双目图像的实例分割结果、光流结果以及视差结果；基于上述处理参数确定上述双目图像的场景流能量函数；优化上述场景流能量函数，得到目标场景流能量函数；基于上述目标场景流能量函数确定上述双目图像中的像素点的场景流。

根据本发明的另一个实施例，提供了一种场景流的确定装置，包括：第一确定模块，用于确定获取的双目图像中的像素点的处理参数，其中，上述处理参数包括上述双目图像的实例分割结果、光流结果以及视差结果；第二确定模块，用于基于上述处理参数确定上述双目图像的场景流能量函数；第三确定模块，用于优化上述场景流能量函数，得到目标场景流能量函数；第四确定模块，用于基于上述目标场景流能量函数确定上述双目图像中的像素点的场景流。

在一个示例性实施例中，上述第一确定模块，包括：第一获取单元，用于利用双目摄像设备获取上述双目图像，其中，上述双目图像包括第N帧左图和第N帧右图，其中，上述N是大于或等于1的自然数；第一确定单元，用于通过预设实例分割网络对上述双目图像进行实例分割，得到上述实例分割结果；第二确定单元，用于通过预设光流估计网络确定上述双目图像中的像素点在预设坐标系中的位移，得到上述光流结果；第三确定单元，用于通过预设立体匹配网络确定上述双目图像中的像素点在上述预设坐标系中的坐标偏移量，得到上述视差结果；第四确定单元，用于将上述分割结果、上述光流结果以及上述视差结果确定为上述处理参数。

在一个示例性实施例中，上述第二确定模块，包括：第五确定单元，用于利用上述实例分割结果、光流结果、视差结果以及旋转平移矩阵确定上述双目图像的光度误差约束项、刚性拟合约束项以及光流一致性约束项，其中，上述旋转平移矩阵是基于上述双目图像中的目标对象在相邻帧图像中的旋转平移量确定的；第六确定单元，用于利用上述光度误差约束项、刚性拟合约束项以及光流一致性约束项确定上述双目图像的场景流能量函数。