[发明专利]无需精确时空同步的多相机运动目标三维轨迹重建方法

说明书

本发明提供了一种无需精确时空同步的多相机运动目标三维轨迹重建方法，部署多相机视角的多台相机及运算器构成的装置并标定相机，观测运动目标并记录运动目标的运动轨迹，粗对齐观测数据时间轴，移除无效观测点，标定各相机的时间同步参数和运动参数，重建三维运动轨迹并进行优化。本发明无需使用特殊标识物对运动目标进行标识，无需对观测设备进行预先标定，无需精确的多相机时空同步即可实现多相机运动目标三维轨迹重建，能够自动对标定信息和时空同步信息进行优化，以实现更精确的多相机运动目标三维轨迹重建。

技术领域

本发明属于计算机视觉重建技术，涉及计算机视觉信息的整合处理，尤其是一种目标轨迹重建方法。

背景技术

多相机运动目标三维轨迹重建方法是利用多个相机在不同视点对运动目标轨迹进行拍摄，并使用这些拍摄得到的二维轨迹重建得到运动目标的三维运动轨迹的技术。这种技术利用纯光学观测手段即可完成对运动目标的立体运动轨迹重建，无需额外的探测设备支持。这项技术的关键点在于利用多视图几何，通过找到不同视图之间观测到的运动轨迹的关联，构建对极约束，求解不同视图的位姿，进而得到运动轨迹的重建估计结果。现有相关技术包含两类，一类是纯被动式的观测重建手段，例如运动回复结构技术，一类是利用特殊标识物对观测目标进行增强的半主动观测手段。

现有的运动恢复结构(Structure From Motion,SfM)技术是一种能够从多张图像或视频序列中自动恢复出相机的参数以及场景三维结构的技术，具有广泛的应用，例如可以应用于增强现实、机器人和自动驾驶等领域。这种技术目前的主流算法流程可以概括为：特征提取，特征匹配，多视图约束，运动信息求解，增量求解序列中的新视图位置，以及优化调整。这种技术的技术核心是利用多视图之间对于相同空间三维点的不同角度观测，构建起多视图之间的对极约束，这种约束关系中实际上包含了各不同视图之间的相对位置信息。随后可以利用经典的三角测量算法计算将视图上的平面三维结构重建到三维空间中，达到三维重建的目的。但是这种技术要求在整个重建过程中，所有采集到的数据必须具有一定数量的显著纹理，否则算法无法构建起足够合理的多视图约束进而求解多视图运动关系，同时算法要求在整个采集过程中运动目标不可移动，否则同样无法构建符合预期数学模型的多视图约束，最终会导致三维结构重建失败。

除了运动回复结构这种被动式的观测重建技术之外，还有一类半主动式观测重建技术。这种技术利用特殊标识物对被观测目标进行特殊标注，利用一套复杂的高精度观测系统对运动目标做出的特殊标识进行跟踪，借助高度精密的预先标定，系统可以直接利用三角测量原理，测算出运动目标在运动过程中的三维运动轨迹。这种方法对于目标的观测重建相比于运动恢复结构技术，避免了对于高精度特征提取、特征匹配的依赖，可以直接利用特殊标识构建起多视图约束，能够比较好的应对各类特征稀疏、特征不明显的应用场景。但是这种技术要求不同观测设备之间提前做好高精度标定，这里的标定同时要求时间与空间的同步，观测设备之间对于目标的观测应该同时开始，观测设备之间的相对姿态应该被提前确定，否则无法对运动目标进行合理的观测重建。对于硬件设备的高精度同步要求限制了系统的可部署范围，对于一个大范围运动的目标，不同硬件设备之间的空间距离造成了时间同步以及相对姿态标定的严重困难。

综上，现有的运动恢复结构技术的缺点是：

1)对于重建目标纹理信息的依赖性强，对于远距离的小型运动目标，难以建立对运动目标轨迹的多视图约束。

2)要求重建目标结构必须要在采集过程中保持静止，无法应对运动目标轨迹在采集过程中的变化。

现有的特殊标识物观测重建技术的缺点是：

1)由于需要对观测目标进行特殊标识，因此这种方法只能应用于合作目标上，对于非合作目标，无法进行特殊标识。

2)需要对系统中所有观测设备进行前期标定，为了得到可靠的标定结果，所有观测设备之间只能部署在一定范围之内，限制了观测重建的作用范围。

发明内容