[发明专利]一种基于图像匹配的高分辨率深度图实时提取装置及方法

权利要求书

1.一种基于图像匹配的高分辨率深度图实时提取装置，包括双目SDI摄像机（1）和FPGA开发板（2），其特征在于所述的双目SDI摄像机（1）单向连接FPGA开发板（2），所述FPGA开发板（2）单向连接一个3DTV编码服务器（3）；利用双目SDI摄像机（1）获取图像，在FPGA开发板（2）上实现深度实时提取，获取深度图通实时传输至3DTV编码服务器（3）。

2.根据权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置，其特征在于所述双目SDI摄像机（1）采用Panasonic AG-3DA1MC双目高清摄像机。该摄像机可通过SDI输出高清视频，两路视频经过了图像校正，可直接进行立体匹配。

3.根据权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置，其特征在于所述FPGA开发板（2）上采用EP2AGX260 FPGA芯片（4），芯片（4）双向连接1GB DDR2 SODIMM（5）作为数据缓存模块。FPGA开发板（2）前端设计两路SDI接收模块，LMH0344均衡器对SDI信号进行DC恢复，LMH0341解串器自动检测输入数据速率并提取时钟；FPGA开发板（2）后端通过PCIE接口（6），以全双工方式将深度图输出至3DTV编码服务器（3）。

4. 一种基于图像匹配的高分辨率深度图实时提取方法，采用权利要求1所述的一种基于图像匹配的高分辨率深度图实时提取装置进行深度图的实时提取，其特征在于通过在FPGA芯片（4）内设计数字电路实现，操作步骤如下：

Ⅰ.SDI解析（7）：将解串之后的两路同步SDI视频输入解析为视频数据信号； 

Ⅱ.匹配代价估计（8）：以数字电路方式实现匹配代价函数的构建和匹配代价的估计；

Ⅲ.WTA最优选择-生成深度图（9）：以数字电路方式在视差范围内对最优匹配进行选择。

5.根据权利要求4所述的一种基于图像匹配的高分辨率深度图实时提取方法，其特征在于所述步骤ⅠSDI解析（7）是：通过FPGA编程，配合SDI Receiver（protocol）MegaCore从双路同步SDI视频解析出视频数据信号，并提取出水平同步标识信号，垂直同步标识信号，视频有效数据标志信号，对于隔行扫描的视频格式还将提取出场标识信号；利用这些标识信号配合FPGA芯片内部的RAM和寄存器资源将动态的同步视频的匹配转化为静态的每一帧的图像匹配。

6.根据权利要求4所述的一种基于图像匹配的高分辨率深度图实时提取方法，其特征在于所述步骤Ⅱ匹配代价估计（8）针对每一路视频实现Census变换，通过例化FPGA内部资源Block Ram作为Line Buffer，将每一行数据进行存储，选用15                                               15像素大小的匹配窗口，在匹配窗口内部采用隔行稀疏十字交叉矩阵进行选值，达到匹配精度与复杂度的平衡。

7. 根据权利要求4所述的一种基于图像匹配的高分辨率深度图实时提取方法，其特征在于所述步骤ⅢWTA最优选择-生成深度图（9）是：通过Winner Takes All的优选方式在待匹配视图上找出64像素视差范围内的匹配代价最小的点，选取该点为候选点。采用分级两两进行比较的方法，经过6级比较则可选出匹配代价最小的点，同时标记匹配代价次小点的匹配代价值。