[发明专利]一种3D摄像系统实时视频处理和立体感调节方法及系统

说明书

本发明公开的3D摄像系统实时视频处理和立体感调节方法及系统，包括：根据棋盘格图像采用张定友标定方法对双目相机进行标定，得到内参矩阵、畸变参数和外参矩阵；根据外参矩阵得到双目相机的校正旋转矩阵；对双目相机拍摄的两帧图像进行立体重投影得到投影后图像坐标；根据双目相机的校正旋转矩阵、内参矩阵、畸变参数以及投影后图像坐标得到垂直视差校正图像；根据垂直视差校正图像计算水平视差统计值；根据水平视差统计值调整水平视差，得到调节好的3D视频图像。本发明通过对双目相机进行标定以及垂直视差和水平视差校正，并根据显示器的参数和观察者与显示器的距离对双目相机的左右图像进行像素调整，使得观察者能够提高视频观看的舒适度。

技术领域

本发明涉及3D成像系统标定和实时视频处理领域，特别是涉及一种3D摄像系统实时视频处理和立体感调节方法及系统。

背景技术

3D显示系统一般分为三种：基于立体图像对的三维显示、全息三维显示、体三维显示。如图1所示，3D摄像系统的立体图像显示一般是基于立体图像对的三维显示原理，是具有一定距离的左右摄像机拍摄同一目标形成的左右图像上对于目标位置具有一定的水平像素差；如图2所示，左右图像经过显示器显示，具有一定视差的目标分别被人的左眼和右眼观看融合形成具有相应深度信息的立体图像。3D摄像系统应用广泛，如3D电影拍摄的摄像系统、应用于微创手术的3D内窥摄像系统等。医生在进行微创手术过程中，通过3D内窥摄像系统实时观看人体组织3D影像进行手术操作，故对图像处理速度、视频观看舒适度要求甚高。

一般3D内窥摄像系统两图像传感器近距离平行排列，但由于安装工艺精度不够，使得两sensor靶面并不完全平行，且镜头都有不同程度畸变，导致人眼观看显示器上左右图像同一目标有垂直视差，不容易聚焦，另外3D内窥拍摄距离一般较近，经常出现视差较大情况，使得人眼无法聚焦，长时间观看容易产生眩晕感，而且不同显示设备和观看距离都影响观看图像视差大小，需要根据不同距离和显示器尺寸对图像视差进行调节，否则，视频观看舒适度差。

发明内容

本发明的目的是提供一种3D摄像系统实时视频处理和立体感调节方法及系统，能够克服镜头畸变、垂直视差、水平视差以及3D显示器尺寸和观看距离对视频图像的影响，提高视频观看的舒适度。

为实现上述目的，本发明提供了如下方案：

一种3D摄像系统实时视频处理和立体感调节方法，所述方法包括：

根据棋盘格图像，采用张定友标定方法对双目相机进行标定，得到内参矩阵、畸变参数和外参矩阵；所述双目相机包括左相机和右相机；

根据所述外参矩阵，得到双目相机的校正旋转矩阵；

对所述双目相机拍摄的两帧图像进行立体重投影，得到投影后图像坐标；

根据所述双目相机的校正旋转矩阵、所述内参矩阵、所述畸变参数以及所述投影后图像坐标，得到垂直视差校正图像；

根据所述垂直视差校正图像计算水平视差统计值；

根据所述水平视差统计值调整水平视差，得到调节好的3D视频图像。

可选的，所述根据所述外参矩阵，得到双目相机的校正旋转矩阵，具体包括：

根据所述外参矩阵计算所述左相机相对所述右相机的相机坐标系旋转矩阵和平移向量；

根据所述旋转矩阵计算基于测地线距离的旋转矩阵均值，得到旋转矩阵统计值；

根据所述平移向量计算欧拉空间均值，得到平移向量统计值；

根据所述旋转矩阵统计值和所述平移向量统计值利用Bouguet算法，得到双目相机的校正旋转矩阵。

可选的，所述根据所述双目相机的校正旋转矩阵、所述内参矩阵、所述畸变参数以及所述投影后图像坐标，得到垂直视差校正图像，具体包括：