[发明专利]联合标定方法及其联合标定装置和电子设备

说明书

本发明提供一种联合标定方法及其联合标定装置和电子设备。该联合标定方法，用于标定一视觉惯性联合装置，其中该视觉惯性联合装置包括一图像获取单元和一惯性测量单元。该联合标定方法包括步骤：通过对获取的图像数据序列进行处理，获得该图像采集单元的一视觉位姿序列；通过将该视觉位姿序列拟合成一连续样条曲线，获得与该惯性测量单元的惯性时间戳相对应的视觉计算数据序列；通过对获取的惯性数据序列与该视觉计算数据序列进行互相关程度分析，获得该图像采集单元和该惯性测量单元之间的一时延初值；以及通过分析该视觉计算数据与该惯性数据序列之间的最小化误差，获得该图像采集单元和该惯性测量单元之间的一位姿初值。

技术领域

本发明涉及机器视觉技术领域，尤其涉及一种联合标定方法及其联合标定装置和电子设备。

背景技术

在同时定位与构图方案中，往往采用相机与惯性测量单元(英文：InertialMeasurement Unit，简称IMU)相结合的方式以融合两种传感器的优势及弥补单个传感器的弊端。在这种相机与IMU相结合的算法方案中，传感器间的数据同步与对齐是直接影响算法效果的重要前提，时间同步指的是传感器数据对应的时间戳是针对于同一时钟而言的，时间对齐指的是将输出频率高的传感器数据与频率低的传感器数据配对。

一方面，在时间同步问题上，大多数算法都假设相机与IMU之间的数据是同步的，实际上多传感器同步在实际操作中很具挑战性。目前主要使用两种方式使二者同步，一种是硬件同步方式，这种方法在硬件上使用单个处理器，在相机或IMU的信号线发生变化时，处理器通过中断检测信号发生的时间以获取多传感器的同步数据；另一种是软件同步，它利用软件算法，将相机时钟与IMU时钟变换到同一个时钟上，然后再输出。另一方面，在传感器时间对齐问题上，一般的算法会将处于相邻帧图像时间戳之间的IMU数据进行预积分，然后再将视觉计算结果与IMU预积分结果融合。当然，也有的算法直接寻找与图像时间戳相差最小的IMU数据作为其对齐数据。

然而，虽然在以上提到的时间同步及对齐方案中，硬件同步和软件同步都可以获得较好的时间同步效果，但是硬件同步需要特殊的硬件支持，如高精度的定位模块，这增加了硬件集成的复杂度。相应地，软件同步同样要求每个设备都要由相应的算法模块支持，这种设备也需要特别定制。因此，并没有一个适应范围较广的时间同步方法来解决多触感器同步的问题。

此外，虽然现有的数据对齐方法具有较好的适用性，但是这些现有的数据对齐方法都需要降采样IMU数据，导致IMU数据存在较大的损失，并且就近匹配的方式一旦碰到有时延的情况，就会造成计算精度的大幅下降。

发明内容

本发明的一个主要优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够标定出图像采集单元和惯性测量单元之间的时延初值和位姿初值，以便后续算法的应用。

本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够解决该图像采集单元的图像时间戳与该惯性测量单元的惯性时间戳不同步的问题，也就是说，其能够解决图像数据输出时间与惯性数据输出时间不同步的问题。

本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其不需要对该惯性测量单元所测量的惯性数据进行降采样，以保证所述惯性数据的完整，有助于提高标定结果的精度。

本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够在保证标定结果不失稳定性和精度的情况下，加快联合标定的速度，以节省标定时间和标定成本。

本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够通过样条拟合的方式，使得低帧率的图像数据与高帧率的惯性数据以高帧率形式对齐，有助于提高标定结果的精度。

本发明的另一个优势在于提供一种联合标定方法及其联合标定装置和电子设备，其能够预先优化该图像采集单元和该惯性测量单元的位姿参数，为捆集优化提供可靠的初值，以得到更稳定可靠的标定结果。