[发明专利]场景流的确定方法及装置、存储介质、电子装置

权利要求书

1.一种场景流的确定方法，其特征在于，包括：

确定获取的双目图像中的像素点的处理参数，其中，所述处理参数包括所述双目图像的实例分割结果、光流结果以及视差结果；

基于所述处理参数确定所述双目图像的场景流能量函数；

优化所述场景流能量函数，得到目标场景流能量函数；

基于所述目标场景流能量函数确定所述双目图像中的像素点的场景流。

2.根据权利要求1所述的方法，其特征在于，确定获取的双目图像中的像素点的处理参数，包括：

利用双目摄像设备获取所述双目图像，其中，所述双目图像包括第N帧左图和第N帧右图，其中，所述N是大于或等于1的自然数；

通过预设实例分割网络对所述双目图像进行实例分割，得到所述实例分割结果；

通过预设光流估计网络确定所述双目图像中的像素点在预设坐标系中的位移，得到所述光流结果；

通过预设立体匹配网络确定所述双目图像中的像素点在所述预设坐标系中的坐标偏移量，得到所述视差结果；

将所述分割结果、所述光流结果以及所述视差结果确定为所述处理参数。

3.根据权利要求1所述的方法，其特征在于，基于所述处理参数确定所述双目图像的场景流能量函数，包括：

利用所述实例分割结果、光流结果、视差结果以及旋转平移矩阵确定所述双目图像的光度误差约束项、刚性拟合约束项以及光流一致性约束项，其中，所述旋转平移矩阵是基于所述双目图像中的目标对象在相邻帧图像中的旋转平移量确定的；

利用所述光度误差约束项、刚性拟合约束项以及光流一致性约束项确定所述双目图像的场景流能量函数。

4.根据权利要求3所述的方法，其特征在于，利用所述光度误差约束项、刚性拟合约束项以及光流一致性约束项确定所述双目图像的场景流能量函数，包括：

E_i＝E_photo,i+E_rigid,i+E_flow,i；

其中，所述E_i用于表示所述场景流能量函数，所述E_photo,i用于表示所述光度误差约束项、E_rigid,i用于表示所述刚性拟合约束项以及E_flow,i用于表示所述光流一致性约束项，所述i是大于或等于0的整数。

5.根据权利要求3所述的方法，其特征在于，利用所述实例分割结果、光流结果、视差结果以及旋转平移矩阵确定所述双目图像的光度误差约束项、刚性拟合约束项以及光流一致性约束项，包括：

其中，所述E_photo,i用于表示所述光度误差约束项、E_rigid,i用于表示所述刚性拟合约束项以及E_flow,i用于表示所述光流一致性约束项，所述i是大于或等于0的整数，所述α_p用于表示所述双目图像中的当前像素是否为指示函数，所述p用于表示所述双目图像中的当前实例P_i中的像素点，所述P_i用于表示所述双目图像中的左图L⁰的实例集合中第i个实例，所述p’用于表示所述实例在第N帧p的三维点云经过摄像设备内外参数重投影到第N+1帧后的像素点，RT用于表示所述旋转平移矩阵。

6.根据权利要求5所述的方法，其特征在于，通过以下方式确定所述p’：

其中，所述π_K用于表示将三维点云使用摄像设备的内参数投影到所述摄像设备的成像平面，得到二维图像；所述用于表示利用二维坐标和视差图通过所述摄像设备的立体标定参数重建的三维点云；所述q用于表示所述双目图像中的像素点p加上所述p对应的光流值后的像素点。

7.根据权利要求1所述的方法，其特征在于，优化所述场景流能量函数，得到目标场景流能量函数，包括：

利用长短期记忆LSTM网络优化所述场景流能量函数，得到所述得到目标场景流能量函数，其中，所述LSTM网络包括隐藏层LSTM和线性层。