[发明专利]基于SOPC的双目视频拼装置及双目视频拼接方法

摘要

本发明的基于SOPC的双目视频拼接装置，包括以NiosII软核处理器为核心的SOPC系统，其一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器。本发明的双目视频拼接方法，通过欧氏距离法对特征点进行粗匹配，然后使用KNN法提出部分误匹配点，最后采用RANSAC计算出单应性矩阵，再经由柱面空间转换及线型加权融合，实现一帧双目视频数据的实时拼接。

主权项

基于SOPC的双目视频拼接装置，包括视频采集装置、视频融合装置、视频传输装置和上位机，其特征在于：一对CMOS图像传感器通过FPGA端口与一对双目视频采集模块分别连接；一对双目视频采集模块一起连接双目视频存储模块；双目视频存储模块输出端的一路经特征提取协处理器与双目视频输出模块相连接，另一路与双目视频显示模块相连接；双目视频输出模块还分别连接NiosII处理器和上位机，双目视频显示模块还连接VGA显示器；所述一对CMOS布置结构具体限定为一对CMOS图像传感器按照基线与水平轴重合的方式布置，传感器的光轴是平行的，极点移至无线远处，极线平行，两传感器间距5‑7厘米；一对双目视频采集模块分别连接至一对CMOS图像传感器CMOS_1和CMOS_2对应的DMA控制器DMA_1和DMA_2；双目视频采集模块包括CMOS图像传感器初始化控制器与Avalon流模式视频采集控制器，二者通过Avalon总线连接；双目视频显示模块包括VGA显示时序发生器和缓存数据的异步FIFO，二者通过Avalon总线连接；VGA显示时序发生器通过D/A转换芯片连接VGA显示器；将USB芯片通过FPGA端口与双目视频输出模块连接，设置USB芯片为SlaveFIFO从机模式；双目视频输出模块包括异步FIFO缓存器和与之连接的Avalon流模式视频输出控制器；双目视频存储模块通过FPGA端口与两片SDRAM相连；双目视频存储模块是以两片SDRAM为核心配合与之对应的两组DMA控制器DMA_1和DMA_2；特征提取协处理器包括低通滤波模块及其后顺序连接的求导计算模块、兴趣值计算及邻域非极大值抑制模块；低通滤波器模块采用改进后的模块：(1/32)×0111012221124211222201110,]]>求导计算模块采用将X与Y方向的求导模板[‑1，‑2，0，2，1]和[‑1，‑2，0，2，1]T合并成的5×5的模板：00-10000-200-1-20210020000100,]]>兴趣值的邻域非极大值抑制模块使用3条Line Buffer和一个3×3的D触发器阵列。