[发明专利]一种基于FPGA的双路视频实时矫正装置及方法

说明书

一种基于FPGA的双路视频实时矫正装置及方法，包括两路摄像机、视频解码模块、视频存储模块、通信模块、参数存储模块、中央处理器、视频编码模块以及视频显示模块；视频解码模块将两路摄像机的视频从串行信号转变为并行信号，并传送给FPGA，选取一路视频为基准视频，针对第二路视频先去除其本身镜头参数引起的畸变，然后把基准视频镜头的参数采用基于泰勒级数反向添加畸变的方法求出反向添加畸变的计算系数，反向作用添加到第二路视频，以去除双路视频由于畸变引起的误差；经过矫正后的两路视频经过视频编码模块，将并行信号转为串行信号输送给视频显示模块显示出来以供人眼观看。本发明验证了双路视频矫正方法的有效性，提高了视频融合配准效果的精度。

技术领域

本发明涉及一种针对双路视频的实时矫正装置与方法，可用于验证包括基于FPGA的双路视频矫正处理在内的多种视频处理方法。该系统前端同时采集两路视频，一般为不同波长感光视频，例如可见光视频和红外视频。由于两路视频的镜头参数的参数区别，导致两者存在不同程度的畸变偏差。本发明系统能在很大程度上消除两路视频之间的偏差，为后续两者的像素级融合等操作提供良好基础，具有很高的工程应用价值。本发明属于嵌入式的视频处理领域。

背景技术

目前在视频监控和工业领域，双目相机的使用都变得越来越频繁。而且两种相机通常情况下是感受不同波长，最常见的是一路相机是感受可见光波长，一路相机是感受红外波长，这样两个相机就能取得比单目相机系统更加丰富的视频信息。在取得两路相机视频后，通常希望把两路相机的视频信息融合到一路视频中，以方便给人观看。在融合的过程中就涉及到双路视频的相机镜头参数不匹配的问题，从而会导致两路视频融合之后的视频会有景物物体的偏差，造成视觉障碍。

本发明针对上述应用场景，提出了一种基于FPGA的嵌入式系统的双路视频实时矫正装置和方法。可将前端相机采集到的两路视频之间的畸变差距消除，达到像素级精度的配准效果。由于相机镜头参数是固定不变的，所以在初始使用时标定一次即可，然后将标定完成的参数存储起来，之后显示视频时利用标定参数将畸变差距消除，以保证在视频情况下仍能保持实时性。

发明内容

随着双目视觉系统的大量投入，应用于嵌入式系统的相机种类、镜头种类越来越多，后端对双路视频的处理要求也越来越多，而将两路视频进行融合处理就是其中的一项重要应用。双路视频融合的前提是两者不存在视角畸变偏差，而这正是本发明系统所要解决的问题。

为解决上述问题，本发明提出一种基于FPGA的嵌入式双路视频矫正系统，具有矫正精度高，实时性能强，符合人眼视觉观察系统的特点，包括两路摄像机、视频解码模块、视频存储模块、通信模块、参数存储模块、中央处理器、视频编码模块以及视频显示模块；视频解码模块将两路摄像机采集的双路串行视频分别转换成并行视频，中央处理器为FPGA采用去视频畸变算法，并行处理双路视频，首先对采集两路视频的摄像机相机进行内部参数标定，然后以一路视频为基准，矫正另一路视频，以去除双路视频由于畸变引起的误差，最大程度的保留视频的原始信息，具体为：视频解码模块将两路摄像机的视频从串行信号转变为并行信号，并传送给中央处理器FPGA，然后由FPGA将视频数据暂时存储到能完成大批量高速视频读写功能的DDR3中，为后续视频矫正做铺垫；之后从参数存储模块EEPROM中读取用于视频矫正的参数(此参数事先由上位机通过通信模块RS422写入参数存储模块EEPROM)，选取一路视频为基准视频，针对第二路视频先去除其本身镜头参数引起的畸变，然后把基准视频镜头的参数采用基于泰勒级数反向添加畸变的方法求出反向添加畸变的计算系数，反向作用添加到第二路视频，以去除双路视频由于畸变引起的误差；经过矫正后的两路视频经过视频编码模块，将并行信号转为串行信号输送给视频显示模块显示出来以供人眼观看。

所述采用基于泰勒级数反向添加畸变的方法，具体为：

(1)根据基准视频的畸变系数计算出无畸变视频的像素坐标值；