[发明专利]一种实时高清深度估计系统

摘要

本发明公开了一种实时高清深度估计系统，对相对高度的深度估计算方法并对其改进，将需要大量幂运算和除法运算的约束计算公式简化为只包含加法、减法和比较运算的计算形式，有效降低了计算复杂度。并提出了一种基于DDR2的行列/列行转换器，逐行/逐列传输的边缘图数据/深度图数据经过行列/列行转换器处理后会逐列/逐行传输，有效解决了深度估计与传输方式的冲突。同时，本发明实时高清深度估计系统充分采用流水线技术和外部DDR2存储器来提高系统的工作频率和降低内存消耗。实验结果表明，本实时高清深度估计系统在200MHz时钟频率下可支持720P视频的实时处理，对室外场景具有较好的估计效果。

主权项

一种实时高清深度估计系统，其特征在于，包括：一边缘检测模块，用于接收输入的分辨率为1280×720p彩色图像数据，然后将彩色图像数据即彩色值转换为灰度值；内部的块RAM对转换得到连续三行灰度值进行缓存，每一个时钟输出三个灰度值进行sobel算子处理，计算每个灰度值对应的边缘值即边缘图数据并按行输出给边缘图数据缓存模块，其中边缘图数据的位宽为8bit；一边缘图数据缓存模块，采用16片块RAM对逐行输入的边缘图数据进行缓存，每片块RAM缓存一行数据；缓存完16行边缘图数据后，同步读取16片块RAM中的数据，并对同地址的数据组合为128bit的边缘图数据后输出给多口内存控制模块；组合输出完毕后，对下16行逐行输入的边缘图数据进行缓存、同步读取以及组合输出；一DDR2存储器，内部开辟4段地址E1、E2、D1、D2；其中地址段E1、E2用于交替存储和读取一帧边缘图数据即向地址段E1存储边缘图数据时，从地址段E2读取边缘图数据，一帧边缘图像数据存储和读取完毕后，交换地址段E2用于存储，地址段E1用于读取，地址段D1、D2用于交替存储和读取一帧深度图数据即向地址段D1存储深度图数据时，从地址段D2读取深度图数据，一帧深度图像数据存储和读取完毕后，交换地址段D2用于存储，地址段D1用于读取；一多口内存控制模块，将来自边缘图数据缓存模块的128bit的组合边缘图数据存储到DDR2存储器中，写入起始地址采用基地址加偏移量的方式进行计算，基地址初始值为地址段E1的起始地址，偏移量从0开始，每存储一次128bit的组合边缘图数据，则偏移量增加：45×address_num，address_num为存储一次128bit的组合边缘图数据所占地址单元的个数；完成16行8bit的边缘图数据即1行128bit的组合边缘图数据的存储后，基地址增加address_num，进行下1行128bit的组合边缘图数据的存储，这样不断重复，直到一帧边缘图像数据存储完毕，交换基地址为地址段E2的起始地址开始一帧下边缘图像数据存储，存储完后，再交换基地址为地址段E1的起始地址，这样不断交替；在一帧边缘图像数据存储完毕后，多口内存控制模块读取DDR2存储器存储的128bit的组合边缘图数据给边缘图数据拆分模块，读起始地址采用基地址加偏移量的方式进行计算，基地址为地址段E1的起始地址，偏移量从0开始，每读取一次128bit的组合边缘图数据，则偏移量增加address_num；当一帧边缘图像数据读取完毕后，将基地址交换为地址段E2的起始地址，这样不断交替；一边缘图数据拆分模块，将45次读取的128bit的组合边缘图数据都进行拆分，然后依次输出，得到按列输出的8bit的边缘图数据，其中拆分是将128bit的组合边缘图数据拆分为16个8bit的边缘图数据，然后输出给深度图估计模块；一深度图估计模块，将接收边缘图数据拆分模块按列输出的边缘图数据，根据边缘值即边缘图像数据和约束公式，求得每列线轨迹点的坐标，进而根据线轨迹点坐标进行赋值，求得每列对应的深度值即深度图数据，并逐列输出给深度图数据缓存模块；其中，约束公式为：T=argmin{(256–edge(x,y))+2×de(x,y)}   （1）公式（1）中，edge(x,y)表示坐标(x,y)处的边缘值，de(x,y)为第一列起始点坐标与候选像素点坐标的垂直距离，argmin表示求取最小值操作，T表示求得的最小的约束值；一深度图数据缓存模块，采用16片块RAM对逐列输入的深度图数据进行缓存，每片块RAM缓存一列数据；缓存完16列深度图数据后，同步读取16片块RAM中的数据，并对同地址的数据组合为128bit的边缘图数据后输出给多口内存控制模块；组合输出完毕后，对下16列逐列输入的边缘图数据进行缓存、同步读取以及组合输出；多口内存控制模块将来自深度图数据缓存模块的128bit的组合深度图数据存储到DDR2存储器中，写入起始地址采用基地址加偏移量的方式进行计算，基地址初始值为地址段D1的起始地址，偏移量从0开始，每存储一次128bit的组合深度图数据，则偏移量增加：80×address_num，address_num为存储一次128bit的组合深度图数据所占地址单元的个数；完成16行8bit的深度图数据即1行128bit的组合深度图数据的存储后，基地址增加address_num，进行下1行128bit的组合深度图数据的存储，这样不断 重复，直到一帧深度图像数据存储完毕，交换基地址为地址段D2的起始地址开始一帧下深度图像数据存储，存储完后，再交换基地址为地址段D1的起始地址，这样不断交替；在一帧深度图像数据存储完毕后，多口内存控制模块读取DDR2存储器存储的128bit的组合深度图数据数据给深度图数据拆分模块，读起始地址采用基地址加偏移量的方式进行计算，基地址为地址段D1的起始地址，偏移量从0开始，每读取一次128bit的组合边缘图数据，则偏移量增加address_num；当一帧深度图像数据读取完毕后，将基地址交换为地址段D2的起始地址，这样不断交替；一深度图数据拆分模块，将Wi/16次读取的128bit的组合深度图数据都进行拆分，然后依次输出，得到按行输出的8bit的深度图数据，其中拆分是将128bit的组合深度图数据拆分为16个8bit的深度图数据，深度图数据拆分模块将每80次读取的128bit的组合深度图数据进行拆分和输出，直到一帧深度图像数据拆分输出完毕，得到一帧深度图，然后进行下一帧组合深度图数据拆分输出，这样不断重复。