[发明专利]基于深度学习的双目相机深度标定方法和系统

说明书

本发明公开了一种基于深度学习的双目相机深度标定方法和系统，所述方法包括：获取待标定双目相机的左目相机拍摄的左目靶标图，和所述待标定双目相机的右目相机拍摄的右目靶标图；将所述左目靶标图和右目靶标图输入预先训练的角点检测模型，得到左目靶标图的第一角点检测结果、右目靶标图的第二角点检测结果，以及所述第一角点检测结果和所述第二角点检测结果之间的角点匹配结果；基于所述第一角点检测结果、所述第二角点检测结果和所述角点匹配结果，生成所述待标定双目相机的深度标定结果。在自动驾驶或辅助驾驶场景中，提高角点检测的准确性，从而提高双目相机深度标定的准确性。

技术领域

本发明涉及相机深度标定技术领域，具体涉及一种基于深度学习的双目相机深度标定方法和系统。

背景技术

随着智能化的不断普及化，自动驾驶技术已经成为当今前沿科学技术的重要发展项目，涉及到机器视觉的应用，其中相机参数的标定是非常关键的一步。基于双目相机的标定主要用来确定相机的内参外参信息，其标定结果的精度及算法的稳定性直接影响后续的物体三维位置的深度距离计算，从而影响三维重建算法等结果的准确性。因此，双目相机的标定效果的准确是保障后续算法准确性的前提，提高标定精度在智能车辆的高级辅助驾驶上有着重要的意义。

在对相机标定的过程中，角点检测是相机标定（棋盘格）中很重要的一个环节，角点的准确检测和精确定位是标定的关键。而现实应用时，相机拍摄得到的图像会因相机的抖动、光线的明暗、距离过远等各种因素造成图像的模糊、清晰度过低，从而导致角点检测的准确性较低，继而导致双目相机深度标定的准确性较低。

发明内容

为此，本发明实施例提供一种基于深度学习的双目相机深度标定方法和系统，以期在自动驾驶或辅助驾驶场景中，提高角点检测的准确性，从而提高双目相机深度标定的准确性。

为了实现上述目的，本发明实施例提供如下技术方案：

一种基于深度学习的双目相机深度标定方法，所述方法包括：

获取待标定双目相机的左目相机拍摄的左目靶标图，和所述待标定双目相机的右目相机拍摄的右目靶标图；

将所述左目靶标图和右目靶标图输入预先训练的角点检测模型，得到左目靶标图的第一角点检测结果、右目靶标图的第二角点检测结果，以及所述第一角点检测结果和所述第二角点检测结果之间的角点匹配结果；

基于所述第一角点检测结果、所述第二角点检测结果和所述角点匹配结果，生成所述待标定双目相机的深度标定结果；

其中，所述角点检测模型是根据预先创建的图像数据集训练得到的，所述图像数据集是根据双目相机获取的左目靶标图样本和右目靶标图样本创建的。

在一些实施例中，预先创建图像数据集，具体包括：

利用程序生成虚拟的棋盘格图像，所述棋盘格图像包括左目靶标图样本和右目靶标图样本；

确定所述棋盘格图像中对应角点的亚像素角点的真实坐标标签；

对棋盘格图像进行随机的仿射变换、透视变换和噪声，以得到包含角点数据的图像数据集。

在一些实施例中，所述角点检测模型的基于预先设计的超分辨率的亚像素角点检测网络进行训练。

在一些实施例中，所述超分辨率的亚像素角点检测网络，具体包括：

超分辨率模块，所述超分辨率模块用于生成不同层次的特征，并利用不同层次的特征重建图像；

亚像素模块，所述亚像素模块用于生成重建后的图像中每个角点对应的亚像素坐标。

在一些实施例中，基于所述超分辨率模块生成不同层次的特征，并利用不同层次的特征重建图像，具体包括：

从图像数据集中提取高分辨率棋盘格图像，并将所述高分辨率棋盘格图像生成低分辨率图像；

将所述低分辨率图像输入到MAnet模块得到预测的模糊核矩阵；

将MAnet模块输出的模糊核矩阵通过主成分分析降低单位像素上模糊核维数；