[发明专利]图像采集设备及其外参修正方法、装置及存储介质

说明书

本申请提出一种图像采集设备及其外参修正方法、装置及存储介质，该图像采集设备的外参修正方法包括：将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；第一图像由采集位置未发生变化的第一图像采集装置获得，第二图像由采集位置发生变化的第二图像采集装置获得；根据变换矩阵和第一图像采集装置的外参，修正第二图像采集装置的外参。本申请能够对已经发生位置改变的图像采集装置进行快速地外参修正，以在重复纹理、弱纹理，以及夜视和大背景干扰等复杂情况下进行高效稳定、高精度地特征点提取以及图像匹配。

技术领域

本申请属于图像处理技术领域，具体涉及一种图像采集设备及其外参修正方法、装置及存储介质。

背景技术

目前，图像拼接、摄像机测距以及视觉定位技术已在多个领域中应用，比如全景相机系统，汽车全景环视系统，全景无人机系统，智能安防巡检机器人系统以及某些无人驾驶系统等等。在上述应用场景下，大多通过下述方案实现全景图像的摄制、摄像机测距以及视觉定位：搭载图像采集装置(如摄像机)的载体在世界空间中移动，采用多路图像采集装置摄制载体周围的场景并能实时对多路场景图像进行拼接，输出载体周围的全景图像，或者对于检测到的周围环境的物体，估算该物体距离搭载摄像机载体的距离，或者估算搭载摄像机载体的空间位置，从而进行下一步的功能开发和展示。

然而，在搭载图像采集装置的载体运动和使用的过程中，由于某些不可预知的原因，比如载体运动振动使图像采集装置安装松动，载体和其他物体碰撞时碰撞到了图像采集装置，或者图像采集装置硬件损坏进行更换灯，都会导致图像采集装置的安装位置跟原先相比发生了变化，使得该图像采集装置的外参(通常用于表示世界坐标系与相机坐标系之间的关系)发生了改变，反应到拼接的全景图像上，即相邻图像采集装置采集的图像跟先前相比发生了拼接错位，或者估算物体距离搭载摄像机载体的距离发生错误，或者估算搭载摄像机载体的空间位置发生错误从而影响下一步的功能开发和视觉效果展示。

现有技术中，对于能够量产的全景相关产品，通常的情况下，出厂前会对装配好后的各个图像采集装置进行标定，同时将标定结果(一般是外参或者其等效参数，如标定棋盘格的角点以及其他特征)写入到配置文件中，使得下次启动电源使用时无需再重新标定即可实现实时输出所需的全景图像拼接的视效功能，以及准备测距和定位的功能。但是，若由于意外使得某个图像采集装置的安装位置跟出厂前发生了改变，则出厂前标定好的该图像采集装置的外参则不是该图像采集装置位置变化后的外参，因此，该图像采集装置所拍摄的图像跟相邻的位置没有改变的图像采集装置所拍摄的图像无法拼接在一起，从视效上看全景图像上的景物便发生了错位，或者测距以及定位发生错误，从而失去了产品本身定义的功能使得产品无法进行使用。此时，该设备需要返厂或到指定的产品维修场所进行重新标定，这对厂商来讲产生了巨大的售后成本，对用户来讲也存在着巨大的时间成本。

发明内容

本申请提出一种图像采集设备及其外参修正方法、装置及存储介质，能够对已经发生位置改变的图像采集装置进行快速地外参修正，以在重复纹理、弱纹理，以及夜视和大背景干扰等复杂情况下进行高效稳定、高精度地特征点提取以及图像匹配。

本申请第一方面实施例提出了一种图像采集设备的外参修正方法，所述方法包括：

将第一图像和第二图像分别输入训练好的深度神经网络模型，计算两张图像的变换矩阵；所述第一图像由采集位置未发生变化的第一图像采集装置获得，所述第二图像由采集位置发生变化的第二图像采集装置获得；

根据所述变换矩阵和所述第一图像采集装置的外参，修正所述第二图像采集装置的外参。

可选地，所述将第一图像和第二图像分别输入训练好的深度神经网络模型，得到两张图像的变换矩阵，包括：

将所述第一图像和所述第二图像输入训练好的深度神经网络模型，分别提取所述第一图像和所述第二图像的图像特征；

将提取的特征依次接入所述深度神经网络模型的两个全连接层；其中，最后接入的全连接层具有预设维度；