[发明专利]一种基于硬件实现的DIBR系统

权利要求书

1.一种基于硬件实现的DIBR系统，包括：

一参数设置模块，用于完成对整个DIBR系统参数的设置，包括：数据有效信号扩展模块和视差图中值滤波模块的图像分辨率W_i×H_i，其中，W_i为图像宽度，H_i为图像高度；三维图像变换模块用于深度调节以及深度值到视差值转换的查找表depth2disparity；空洞填充模块用于检测视差值跃变的阈值sharp_th以及对较大空洞进行膨胀的像素点个数l；

位于顶层的Block RAM(即块RAM)，用D₀表示，用于存储外部输入的参考图像的像素值I_ref，并被配置成简单双端口RAM(Simple Dual-port RAM)类型；

其特征在于，还包括：

一数据有效信号扩展模块，位于DIBR系统的前端，用于接收系统外部输入深度图的深度值D以及数据有效信号data_valid；然后将深度值D原封不动地输出，数据有效信号data_valid扩展2行之后输出，其中data_valid扩展是在输入的最后一行数据有效信号结束一段时间之后、场消隐信号到来之前的时间段里，产生2行的数据有效信号，其对应的深度值置为0；

一三维图像变换模块，用于接收数据有效信号扩展模块输出的深度图的深度值D以及数据有效信号data_valid，根据深度值D计算出参考图像中的每一像素点对应的视差值M，并连同数据有效信号data_valid输出给视差图中值滤波模块；

深度值D到视差值M的转换是利用查找表depth2disparity实现的，并事先在外部根据无需摄像机参数的三维图像变换计算好，然后由参数设置模块设置，当表中的值改变时，便可实现深度调节；

三维图像变换模块采用了4个Block RAM即块RAM，用R₀,R₁,R₂,R₃表示，该四个块RAM用来动态地存储深度图的4行视差值，并被配置成简单双端口RAM(Simple Dual-port RAM)类型；

三维图像变换后生成的目标图像会含有空洞，用-128来标识空洞点，本模块在处理一帧深度图之前，便把用于存储视差值M的Block RAM初始化为-128，这样后续模块便能判断出哪些点是空洞点；

一视差图中值滤波模块，用于接收三维图像变换模块输出的视差值M以及数据有效信号data_valid，采用3×3的掩膜对这些视差值进行中值滤波，并将结果以及数据有效信号data_valid输出给空洞填充模块；

一空洞填充模块，用于接收视差图中值滤波模块输出的视差值M以及数据有效信号data_valid，对其中的空洞点进行填充，然后连同数据有效信号data_valid输出给像素拷贝模块；空洞填充是基于视差图的空洞填充算法，修改视差值M为-128的点即空洞点的视差值；

一像素拷贝模块，用于接收空洞填充模块输出的视差值M以及数据有效信号data_valid，根据视差值M逐行计算目标图像像素点在参考图像上的匹配点(matching point)的坐标，并将该坐标作为读位于顶层的块RAM即D₀的地址，读出其中的像素值I_ref，构成目标图像的像素值I_des，作为整个DIBR系统的输出；在逐行计算匹配点的坐标时，是按行的逆向即从右到左的方向处理的；

L_M(i)表示视差图的第i行，L_I(i)表示参考图像的第i行，0≤i<W_i，当开始处理一幅参考图像及其对应的深度图时，依次将L_M(0)、L_M(1)、L_M(2)、L_M(3)存入R₀、R₁、R₂、R₃；处理完L_M(0)之后，又将L_M(5)存入R₀，依次类推；在存储和处理L_M(i)的同时，依次将L_I(i)存入D₀进行处理，具体为：

在t₀时刻，三维图像变换模块开始将L_M(0)写入R₀；

在t₁时刻，L_M(0)已存入R₀，三维图像变换模块开始将L_M(1)写入R₁；

在t₁～t₂时段，当完成L_M(1)到R₁的写操作后，像素拷贝模块开始将L_I(0)写入D₀；

在t₂时刻，L_M(1)已存入R₁，三维图像变换模块开始将L_M(2)写入R₂，并开始读R₀中的L_M(0)输出给视差图中值滤波模块；

在t₂～t₃时段，像素拷贝模块根据得到的目标图像像素点地址，读出L_I(0)中的像素值，得到目标图像的第0行；当完成L_M(2)到R₂的写操作后，开始将L_I(1)写入D₀；

在t₃时刻，L_M(2)已存入R₂，三维图像变换模块开始将L_M(3)写入R₃，并开始同时读L_M(0)、L_M(1)和L_M(2)输出给视差图中值滤波模块；

在t₃～t₄时段，像素拷贝模块根据得到的目标图像像素点地址，读出L_I(1)中的像素值，得到目标图像的第1行；当完成L_M(3)到R₃的写操作后，开始将L_I(2)写入D₀；

在t₄时刻，L_M(3)已存入R₃，三维图像变换模块开始将L_M(4)写入R₀，并开始同时读L_M(1)、L_M(2)和L_M(3)输出给视差图中值滤波模块；

在t₄～t₅时段，像素拷贝模块根据得到的目标图像像素点地址，读出L_I(2)中的像素值，得到目标图像的第2行；当完成L_M(4)到R₀的写操作后，开始将L_I(3)写入D₀；

在t₅时刻，L_M(4)已存入R₀，三维图像变换模块开始将L_M(5)写入R₁，并开始同时读L_M(2)、L_M(3)和L_M(4)输出给视差图中值滤波模块；

以上操作循环往复，形成行级流水线。

2.根据权利要求1所示的基于硬件实现的DIBR系统，其特征在于，所述视差图中值滤波模块发现掩模中的空洞点的个数大于等于5，则对当前点不进行中值滤波。