[发明专利]一种面向移动硬件的场景流估计方法

说明书

本发明涉及一种面向移动硬件的场景流估计方法，包括如下步骤：步骤1）中通过融合光流的非局部立体匹配算法，融入光流改善最小生成树的构建，进而优化代价累积区域和累积权重，得到粗匹配视差图；步骤2)进行场景流估计求解。有益效果：方法中的时域融合的非局部立体匹配算法，可以提高视差估计的精度；本发明建立场景流估计的能量泛函以及求解泛函的迭代方法，能够充分利用移动异构CPU/GPU并行特性加速求解场景流，满足实时处理要求。

技术领域

本发明涉及计算机图像视频技术领域，尤其涉及一种面向移动硬件的场景流估计方法。

背景技术

场景流估计方法可以分为立体匹配和光流运动估计两个独立模块。分别优化两个独立模块将很大程度上改善场景流估计的精度。其中传统立体匹配方法因忽略了时域信息，导致较高的视差误匹配率。场景流估计的迭代求解也没有充分考虑移动异构系统的优化可行性。Vedula在1999年首次提出场景流(Scene Flow) 的概念，即“空间点的三维运动场”。但是直到最近的10年间，关于场景流的研究才陆续开展并得以真正实现。简单的来讲，光流表示平面上物体运动的二维信息，而场景流则包括了空间中物体运动的三维信息。光流估计往往是基于目标刚体或分片刚体假设的二维运动重构方法，而场景流则假设目标完全非刚体，各点运动彼此独立，并同时估计三维场景的运动和结构。因而场景流是运动估计方法由传统二维到三维的一个飞跃，也成为三维视觉最有前景的方向之一。近年来在计算机视觉领域如3D视频与3D重建，增强现实(Augmented Reality,简称AR) 与混合现实(Mixreality,简称MR)等都涉及到了场景流估计的求解与应用。

发明内容

本发明目的在于克服现有三维视觉工程项目在执行过程中遇到问题时，提供了一种面向移动硬件的场景流估计方法，具体由以下技术方案实现：

所述面向移动硬件的场景流估计方法，包括如下步骤：

步骤1)导入成对的左右图像，并求得左右图像的残差图像，根据所述参差图像再通过融合光流的非局部立体匹配算法，融入光流改善最小生成树的构建，进而优化代价累积区域和累积权重，得到粗匹配视差图；

步骤2)进行场景流估计求解：

所述面向移动硬件的场景流估计方法的进一步设计在于，所述步骤1)中融合光流的非局部立体匹配算法选用非局部代价累积方法进行双目立体匹配,基于原始匹配代价与混合先验模型优化的改进。

所述面向移动硬件的场景流估计方法的进一步设计在于，原始匹配代价的改进为：将改进型稀疏Census变换、背景减除双边滤波器和加速稳健特征SURF 算法三种处理方式进行融合。

所述面向移动硬件的场景流估计方法的进一步设计在于，所述改进的混合先验模型优化为：采用八邻域的无向图来构建最小生成树。

所述面向移动硬件的场景流估计方法的进一步设计在于，所述改进的混合先验模型优化采用edge prior边缘先验和superpixel prior超像素先验的混合型先验模型，其实现步骤如下：

a)借助t时刻和t+1时刻的图像帧，计算出当前匹配图像的光流图；

b)分别对所述光流图进行边缘edge分割和超像素superpixel分割，并设定只有被edge和superpixel两种先验模型同时检测到的边缘，才认定为视差的边界对应地融合运动幅度权重的边权值w(s,r)被重新定义，如式(1)：

w(s,r)是由亮度权重项和运动幅度权重项两部分组成。其中I_s和I_r是邻域像素s和r的亮度值，用来表示两个邻域像素s和r的运动 幅度，τ是截断阈值，σ_i和σ_m分别是亮度权重项和运动幅度权重项调节系数； c)利用克鲁斯卡尔算法移除权值较大的边，再通过最小权重构造生成MST即最 佳的代价累积支撑区域。