[发明专利]双目相机系统和双目相机空间标定方法

说明书

本发明提出了一种双目相机系统和双目相机空间标定方法，解决了现有技术成像质量差和无深度信息的问题。双目相机系统依次级联有相机模块、校正模块、标定模块和存储模块；相机模块包括并联的事件相机和普通CMOS相机。空间标定方法包括：相机模块获取地址‑事件数据流、图像和拍摄时间；校正模块对数据流和图像进行畸变和极线校正；标定模块对校正后数据流和图像空间位置标定；存储模块将校正后的数据流和图像及其对应关系以单应矩阵集合存储在持久化存储器中。本发明不用分光镜，避免了因此导致的成像差。本发明具有视差，能通过视差恢复空间深度信息。用于高帧率、高分辨率的数据重构，对高速运动目标的识别和跟踪等领域。

技术领域

本发明属于计算机视觉技术领域，涉及双目相机的结构和空间标定，具体是一种双目相机系统和双目相机空间标定方法，用于重建高时间分辨率和高空间分辨率的图像数据，提高对高速运动目标识别和跟踪的准确率，也可用于包含事件相机和普通CMOS相机的双目相机系统的空间标定。

背景技术

双目相机系统可以通过两个相机的视差获取物体与相机之间的距离，在机器人和SLAM领域应用广泛。但是使用普通CMOS相机的双目相机系统存在很多缺陷，当双目相机系统与目标之间的相对运动速度过快时，会产生严重的图像模糊，使得双目相机无法很好的工作。

事件相机是一种新型相机，它的每个像素单独感光，当某个像素感受到的光强发生变化时，事件相机才会输出数据，否则事件相机不会输出数据。当事件相机与目标之间的相对运动速度较快时，也不会产生模糊现象。而且事件相机具有动态范围大，数据量小的优点。事件相机输出的数据格式与普通CMOS相机也不同，事件相机输出的数据为地址-事件数据流。

将事件相机和普通CMOS相机组成双目相机系统，可以结合两种相机的优点，得到高动态范围、高帧率和高空间分辨率的图像数据，并用来计算空间深度信息。

申请公布号为CN108038888A，名为“混合相机系统及其空间标定方法及装置”公开了一种混合相机系统和空间标定方法，这种相机及其空间标定方法使用事件相机、普通CMOS相机和分光片组成双目相机系统，通过最小化空间投影误差实现空间标定，其不足之处在于：使用分光片对事件相机和普通CMOS相机之间进行空间位置粗标定，导致两个相机各自只能接收到不足50％的光线，降低了成像质量；使用分光片导致两个相机之间没有视差，损失了空间深度信息。

发明内容

本发明的目的在于克服上述现有技术存在的缺陷，提出了一种能识别和跟踪高速运动目标，保留视差信息和保证成像质量的双目相机系统和双目相机空间标定方法。

本发明是一种双目相机系统，其特征在于，依次级联有相机模块、校正模块、标定模块和存储模块，形成双目相机系统；镜头朝向相同且并联的事件相机和普通CMOS相机构成相机模块，其中各模块描述如下：

所述相机模块，包括有事件相机和CMOS相机，用于获取地址-事件数据流、图像和图像拍摄时间，其中，事件相机用于获取地址-事件数据流，CMOS相机用于获取图像和图像的拍摄时间，事件相机和CMOS相机同时输出数据并且事件相机和CMOS相机的输出图像的尺寸相同，事件相机和CMOS相机镜头主轴平行，事件相机和CMOS相机的传感器平面在同一平面上；

所述校正模块，用于分别对事件相机输出的地址-事件数据流和CMOS相机输出的图像进行畸变校正和极线校正，并输出校正后的地址-事件数据流和校正后的图像，其中，校正模块存储有事先标定的事件相机的相机矩阵和畸变矩阵，存储有CMOS相机的相机矩阵和畸变矩阵，还存储有事先标定的事件相机和CMOS相机之间的旋转矩阵和平移矩阵；

所述标定模块，用于对畸变校正和极线校正后的地址-事件数据流和图像进行空间位置标定，获取表示地址-事件数据流中事件坐标与图像像素坐标对应关系的单应矩阵并输出；

所述存储模块，包括有持久化存储器，用于持久化存储标定结果，标定结果包括校正后的地址-事件数据流、校正后的图像和地址-事件数据流中事件坐标与图像像素坐标的单应矩阵。