[发明专利]一种立体视频实时深度估计系统硬件实现方法

权利要求书

1.一种立体视频实时深度估计系统硬件实现方法， 所述的方法包括输入接口模块(IN)、

Census变换模块(CT)、匹配代价计算模块(MC)、匹配代价累积模块(CA)、视差生成模块(DG)、视差后处理模块(DP)、视差可视化模块((DV)))和系统控制模块(SC)，其特征在于：

上述输入接口模块(IN)，负责接收左右双视点输入的RGB或YUV格式的视频信号，执行彩色信号的灰度转换，对于输入的RGB信号进行实时转换，得到像素点的灰度信号，对YUV信号进行Y信号提取；将左右两路视频的灰度信号输出给Census变换模块(CT)；

上述Census变换模块(CT)，负责将输入接口模块(IN)输出的左、右两路视频的灰度信号进行Census转换；

上述匹配代价计算模块MC，负责利用census变换和基于SAD融合的匹配算法进行像素匹配运算，得到每个像素视差范围内的所有的初始匹配代价；

上述匹配代价累积模块(CA)，负责对各个像素邻近区域的匹配代价进行累加，其累加之和为中心像素的最终匹配代价；

上述视差生成模块(DG))，负责利用winner-takes-all方法对上述匹配代价累积模块(CA)所得到的最终匹配代价进行处理，得到最优匹配代价；将该匹配代价对应的视差作为该像素的初始视差值，将得到的初始视差图输出到视差后处理模块(DP)；

上述视差后处理模块(DP)，负责采用中值滤波方法对初始视差图进行滤波去噪处理；

上述视差可视化模块(DV))，负责实现视差转化成深度图，利用双视相机的场景深度和视差之间的关系，建立深度和视差之间的一一对应关系，将视差转为深度，采用反向量化方法将深度转化为可视的灰度数据，计算显示可区分的灰度值；

上述系统控制模块(SC)，负责接收输入接口模块(IN)的控制信号，并输出控制信号与其它各个模块连接，为各个模块确定数据流中数据的起始位置，控制行帧信号的延时，协调各模块时序，实现视频实时深度估计； 

所述输入接口模块(IN)接收外部视频信号，并将其输出连接Census变换模块，Census变换模块(CT)的输出连接匹配代价计算模块MC；匹配代价计算模块MC、匹配代价累积模块(CA)、视差生成模块(DG))、视差后处理模块(DP)、视差可视化模块(DV))依次顺序连接。系统控制模块(SC)接收输入接口模块的控制信号，并输出控制信号到其它各个模块。

2.根据权利要求1所述的一种立体视频实时深度估计系统硬件实现方法，其特征在于，上述输入接口模块(IN)支持RGB或YUV两种格式视频信号的选择输入，对于RGB视频信号的灰度转换采用移位和加法运算变换公式，对于YUV视频信号的灰度变换采用直接抽取Y信号的方法。

3.根据权利要求1所述的一种立体视频实时深度估计系统硬件实现方法，其特征在于，上述census变换模块(CT)中所述的对输入接口输入的左右两路视频图像分别进行灰度信号的Census变换，其变换公式是：

 

式中，、分别表示左图象和右图象中坐标为的像素进行census转换后得到的结果，转换窗口大小为M×N， 、 代表原始的像素值，、代表像素坐标，表示所得的每一个比较值进行有序的排列。

4.根据权利要求1所述的一种立体视频实时深度估计系统硬件实现方法，其特征在于，上述匹配代价计算模块MC中所述的采用基于Census变换与基于亮度的SAD相结合的方法，计算得到每个像素视差范围内的所有的初始匹配代价，其具体如下：

1）、采用SAD方法是对像素原始亮度值进行差值计算，其计算表达式为：

式中，表示得到的SAD表示的匹配代价，为像素的原始值，表示像素的横坐标，表示像素的纵坐标，为视差值，×表示窗口的位置；

2）、采用基于Census变换的匹配代价通过比较对应像素的census变换值的汉明距得到；

3）然后再将基于census变换的匹配代价值与基于SAD的匹配代价融合，得到该像素初始匹配代价，其表达式为：

 

式中， 表示像素的初始匹配代价，和表示融合参数，表示基于census变换的匹配代价，表示基于SAD的匹配代价。