[发明专利]一种立体视频实时深度估计系统硬件实现方法

摘要

本发明公开了一种立体视频实时深度估计系统硬件实现方法，所述方法包括输入接口模块IN、Census变换模块CT、匹配代价计算模块MC、匹配代价累积模块CA、视差生成模块DG、视差后处理模块DP、视差可视化模块DV和系统控制模块SC，将左右两路输入的视频信号依次经输入接口模块IN、Census变换模块CT、匹配代价计算模块MC、，匹配代价计算模块MC、匹配代价累积模块CA、视差生成模块DG、视差后处理模块DP、视差可视化模块DV依次顺序传递，控制信号经系统控制模块SC分别向各模块传递，实现基于硬件实时深度估计。该方法基于FPGA的硬件设计，实现实时深度估计，采用融合匹配算法，能提高深度估计准确性，支持高清分辨率视频实时处理，满足三维高清实时视频系统的需求。

主权项

一种立体视频实时深度估计系统硬件实现方法， 所述的方法包括输入接口模块(IN)、Census变换模块(CT)、匹配代价计算模块(MC)、匹配代价累积模块(CA)、视差生成模块(DG)、视差后处理模块(DP)、视差可视化模块((DV)))和系统控制模块(SC)，其特征在于：上述输入接口模块(IN)，负责接收左右双视点输入的RGB或YUV格式的视频信号，执行彩色信号的灰度转换，对于输入的RGB信号进行实时转换，得到像素点的灰度信号，对YUV信号进行Y信号提取；将左右两路视频的灰度信号输出给Census变换模块(CT)；上述Census变换模块(CT)，负责将输入接口模块(IN)输出的左、右两路视频的灰度信号进行Census转换；上述匹配代价计算模块MC，负责利用census变换和基于SAD融合的匹配算法进行像素匹配运算，得到每个像素视差范围内的所有的初始匹配代价；上述匹配代价累积模块(CA)，负责对各个像素邻近区域的匹配代价进行累加，其累加之和为中心像素的最终匹配代价；上述视差生成模块(DG))，负责利用winner‑takes‑all方法对上述匹配代价累积模块(CA)所得到的最终匹配代价进行处理，得到最优匹配代价；将该匹配代价对应的视差作为该像素的初始视差值，将得到的初始视差图输出到视差后处理模块(DP)；上述视差后处理模块(DP)，负责采用中值滤波方法对初始视差图进行滤波去噪处理；上述视差可视化模块(DV))，负责实现视差转化成深度图，利用双视相机的场景深度和视差之间的关系，建立深度和视差之间的一一对应关系，将视差转为深度，采用反向量化方法将深度转化为可视的灰度数据，计算显示可区分的灰度值；上述系统控制模块(SC)，负责接收输入接口模块(IN)的控制信号，并输出控制信号与其它各个模块连接，为各个模块确定数据流中数据的起始位置，控制行帧信号的延时，协调各模块时序，实现视频实时深度估计； 所述输入接口模块(IN)接收外部视频信号，并将其输出连接Census变换模块，Census变换模块(CT)的输出连接匹配代价计算模块MC；匹配代价计算模块MC、匹配代价累积模块(CA)、视差生成模块(DG))、视差后处理模块(DP)、视差可视化模块(DV))依次顺序连接。系统控制模块(SC)接收输入接口模块的控制信号，并输出控制信号到其它各个模块。