[发明专利]基于SOPC的双目视频拼装置及双目视频拼接方法

说明书

技术领域

本发明涉及双目视觉技术，具体是一种基于SOPC的双目视频拼接装置及双目视频拼接方法。

背景技术

双目视觉技术作为机器视觉的重要组成部分，一直是视频拼接、工业检测及三维重建等领域的研究热点。近年来随着双目视觉技术的不断发展，基于视频采集卡与上位机的传统解决方案由于成本高、通用性差、处理速度慢等缺点已无法满足用户需求，尤其在双目视频采集传输部分，无论是采用轮询还是时分复用的方式，现有的设计方法都无法满足系统在同步性和实时性上的设计要求。

专利文件“一种基于SOPC的双路视频融合处理装置及其融合方法”(专利号CN102523389A)提出了一种通过SOPC系统实现双路视频融合的方法，但是其仍然使用传统的设计方法，没有将FPGA的并行性和SOPC在可编程性上的优势发挥出来，同步性及实时性无法保证，双路视频融合仅使用双线性插值法，融合效果不佳。

现阶段双目视频拼接装置大多上位机参与处理，无法实现真正意义上的嵌入式双目视频拼接装置，且又上位机软件实现视频拼接算法，执行效率不高，在实时性和拼接效果上无法平衡。

发明内容

本发明的目的旨在解决上述技术缺陷。为此，本发明的第一个目的在于提出一种以FPGA为核心基于SOPC的双目视频拼接装置，该装置通过NiosII软核处理器控制以Avalon-MM模块形式封装的各功能模块，将采集到的双路视频数据实时拼接并显示。

本发明的基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于：一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。

其中，双目视频采集模块主要包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器，二者通过Avalon总线连接。一对双目视频采集模块分别连接至一对CMOS图像传感器CMOS_1和CMOS_2对应的DMA控制器DMA_1和DMA_2。

所述的双目视频显示模块主要包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连接；VGA显示时序发生器通过D/A转换芯片连接VGA显示器。

所述的双目视频输出模块主要包括异步FIFO缓存器和与之连接的Avalon流模式视频输出控制器。将USB芯片通过FPGA端口与双目视频输出模块连接，设置USB芯片为Slave FIFO从机模式。

所述的双目视频存储模块主要是以两片SDRAM为核心的与之对应的两组DMA控制器DMA_1和DMA_2。双目视频存储模块通过FPGA端口与两片SDRAM相连。

所述的特征提起协处理器包括低通滤波模块及其后顺序连接的求导计算模块、兴趣值计算及邻域非极大值抑制模块；

低通滤波器模块采用改进后的模块：