[发明专利]混合相机系统及其时间标定方法及装置

说明书

本发明公开了一种混合相机系统及其时间标定方法及装置，其中，方法包括：搭建混合相机系统；运行混合相机系统，并记录event‑based相机拍摄的事件与相机拍摄的视频；获取相机拍摄的视频相邻帧之间的像素变化；将event‑based相机拍摄的事件个数根据视频帧率间隔求和；获取相机的相邻帧之间的像素变化与event‑based相机求和后事件个数的互相关系数；获取event‑based相机与相机时间差，以获得时间对齐结果，进而完成时间标定。该方法可以准确的标定event‑based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种混合相机系统及其时间标定方法及装置。

背景技术

无人机在执行任务时，由于GPS(Global Positioning System，全球定位系统)等辅助定位装置在城市环境内准确程度不高。解决GPS问题的最佳途径是视觉导航，也就是用依附在无人机上的摄像头连续地拍摄图像，通过对图像的处理来完成定位和导航工作。然而，仅仅依靠普通帧率的相机，在拍摄时容易因为无人机运动速度过快造成图像的运动模糊，导致位置估计结果偏差较大，可能引起无人机的飞行控制算法出现问题导致坠毁等事故。

现在的搭载视觉定位装置的无人机应用中，由于普通相机传感器自身的限制，避免运动模糊得方式只有提高快门速度，来减小拍摄时每一帧内高速运动的范围。但面临着两个问题，一方面，进光量会大幅减小，导致图像偏暗，可能导致视觉算法无法正常工作；另一方面，这种方式没有从根本上解决普通相机所导致的问题，无法达到本质上的性能提升。

随着传感器技术的发展，出现了一种新的event-based相机。当event-based相机的单个像素点接收的光强产生变化时，该像素点就会输出一个事件，这就保证了它对亮度变化十分敏感，可以感知高时间分辨率的光强变化。与普通相机结合后，一种新型的高空间分辨率与高时间分辨率的混合相机系统就出现了。这套系统可应用于医疗领域与机器人领域，可以提高视觉算法的稳定性，特别适用于高速运动的无人机平台上。然而，这两个相机是分立的硬件，没有统一的硬件触发，因此录制信息的时间戳无法通过硬件对齐，有待解决。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种混合相机系统及其时间标定方法，该方法可以避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。

本发明的另一个目的在于提出一种混合相机系统及其时间标定装置。

为达到上述目的，本发明一方面实施例提出了一种混合相机系统及其时间标定方法，包括以下步骤：搭建混合相机系统，其中，所述混合相机系统由event-based相机、相机与分光片组成；运行所述混合相机系统，并记录所述event-based相机拍摄的事件与所述相机拍摄的视频；获取所述相机拍摄的视频相邻帧之间的像素变化；将所述event-based相机拍摄的事件个数根据视频帧率间隔求和；获取所述相机的相邻帧之间的像素变化与所述event-based相机求和后事件个数的互相关系数；获取所述event-based相机与所述相机时间差，以获得时间对齐结果，进而完成时间标定。

本发明实施例的混合相机系统及其时间标定方法，可以准确的标定event-based相机与普通相机的时间关系，避免因数据源时间不同步产生的误差导致系统无法使用，可以使混合相机系统稳定正常运行。

另外，根据本发明上述实施例的混合相机系统及其时间标定方法还可以具有以下附加的技术特征：