[发明专利]一种基于硬件实现的DIBR系统

摘要

本发明公开了一种基于硬件实现的DIBR系统，采用无需摄像机参数的三维图像变换算法以代替复杂的单应变换以及基于视差图的空洞填充算法代替图像修复算法，这样大大减小了计算的复杂程度。同时，采用行级流水处理，减少视差图以及参考图像的存储，从而节省了硬件的开销。在Xilinx开发板上进行测试，实验结果表明，本发明由于计算复杂度的降低，在实时处理全高清视频时，吞吐量可达60帧/秒，能支持全高清（1080P）视频的实时处理；并且硬件开销(不包括内部存储器)为59.8K逻辑门，内存储器的容量需求为20.25kbytes，硬件开销降低，合成结果与DIBR算法的结果相似。

主权项

一种基于硬件实现的DIBR系统，包括：一参数设置模块，用于完成对整个DIBR系统参数的设置，包括：数据有效信号扩展模块和视差图中值滤波模块的图像分辨率Wi×Hi，其中，Wi为图像宽度，Hi为图像高度；三维图像变换模块用于深度调节以及深度值到视差值转换的查找表depth2disparity；空洞填充模块用于检测视差值跃变的阈值sharp_th以及对较大空洞进行膨胀的像素点个数l；位于顶层的Block RAM(即块RAM)，用D0表示，用于存储外部输入的参考图像的像素值Iref，并被配置成简单双端口RAM(Simple Dual‑port RAM)类型；其特征在于，还包括：一数据有效信号扩展模块，位于DIBR系统的前端，用于接收系统外部输入深度图的深度值D以及数据有效信号data_valid；然后将深度值D原封不动地输出，数据有效信号data_valid扩展2行之后输出，其中data_valid扩展是在输入的最后一行数据有效信号结束一段时间之后、场消隐信号到来之前的时间段里，产生2行的数据有效信号，其对应的深度值置为0；一三维图像变换模块，用于接收数据有效信号扩展模块输出的深度图的深度值D以及数据有效信号data_valid，根据深度值D计算出参考图像中的每一像素点对应的视差值M，并连同数据有效信号data_valid输出给视差图中值滤波模块；深度值D到视差值M的转换是利用查找表depth2disparity实现的，并事先在外部根据无需摄像机参数的三维图像变换计算好，然后由参数设置模块设置，当表中的值改变时，便可实现深度调节；三维图像变换模块采用了4个Block RAM即块RAM，用R0,R1,R2,R3表示，该四个块RAM用来动态地存储深度图的4行视差值，并被配置成简单双端口RAM(Simple Dual‑port RAM)类型；三维图像变换后生成的目标图像会含有空洞，用‑128来标识空洞点，本模块在处理一帧深度图之前，便把用于存储视差值M的Block RAM初始化为‑128，这样后续模块便能判断出哪些点是空洞点；一视差图中值滤波模块，用于接收三维图像变换模块输出的视差值M以及 数据有效信号data_valid，采用3×3的掩膜对这些视差值进行中值滤波，并将结果以及数据有效信号data_valid输出给空洞填充模块；一空洞填充模块，用于接收视差图中值滤波模块输出的视差值M以及数据有效信号data_valid，对其中的空洞点进行填充，然后连同数据有效信号data_valid输出给像素拷贝模块；空洞填充是基于视差图的空洞填充算法，修改视差值M为‑128的点即空洞点的视差值；一像素拷贝模块，用于接收空洞填充模块输出的视差值M以及数据有效信号data_valid，根据视差值M逐行计算目标图像像素点在参考图像上的匹配点(matching point)的坐标，并将该坐标作为读位于顶层的块RAM即D0的地址，读出其中的像素值Iref，构成目标图像的像素值Ides，作为整个DIBR系统的输出；在逐行计算匹配点的坐标时，是按行的逆向即从右到左的方向处理的；LM(i)表示视差图的第i行，LI(i)表示参考图像的第i行，0≤i

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川虹微技术有限公司;重庆大学，未经四川虹微技术有限公司;重庆大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201310429274.8/，转载请声明来源钻瓜专利网。