[发明专利]一种基于视觉—惯性的物体三维尺寸测量方法

说明书

本发明公开了一种基于视觉—惯性的物体三维尺寸测量方法，利用单目相机和IMU作为传感获取设备，通过相机参数标定、图像进行目标物体检测、传感器运动姿态估计以建立物体三维对偶椭球面及其在多视图中的投影轮廓的数学方程，最后计算物体的三维最小包络盒机器人三维空间占据尺寸。本发明不单能测量物体三维尺寸的真实信息，还具有测量成本低、便捷等优点。

技术领域

本发明涉及机器视觉的技术领域，尤其涉及到一种基于视觉—惯性的物体三维尺寸测量方法。

背景技术

在工业自动化生产过程涉及到的物流存储、产品包装、生产线设计和装载空间优化等重要环节中，产品三维尺寸信息是一种重要的物理参数。物体三维尺寸信息的获取多数依靠手动测量或者直接来自产品设计参数咨询，手动测量无法满足生产自动化需求，而设计模型通常是保密或者难以获取的。现有物体三维尺寸信息测量属于工业逆向工程领域，常采用如多线激光扫描仪、线结构光或深度相机等三维测距传感器进行物体精细化三维建模，涉及到物体三维点云信息的获取、相邻帧的点云配准与位姿估计、多帧稠密点云融合与优化等模块。一方面，精细化的三维重建需要的传感设备往往成本高昂，并且点云配准中与位姿估计中要求不同帧的点云之间有一定的重叠率，因此在实际使用过程中往往是缓慢移动设备以确保点云质量和重叠率，具有使用场景受限、高成本和低便携性等方面的不足。另一方面，在大多数工业场景并不需要物体的精细三维模型，而只需要测量物体最小包络体积作为空间占据评估。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于视觉—惯性的物体三维尺寸测量方法，旨在利用单目相机和IMU作为传感获取设备，通过相机参数标定、图像进行目标物体检测、传感器运动姿态估计以建立物体三维对偶椭球面及其在多视图中的投影轮廓的数学方程，最后计算物体的三维最小包络盒的三维空间占据尺寸，实现低成本、高效便捷的、具有真实尺度的物体三维尺寸信息测量。

为实现上述目的，本发明所提供的技术方案为：

一种基于视觉—惯性的物体三维尺寸测量方法，包括如下步骤：

S1、基于视觉—惯性耦合估计相机的位姿；

S2、提取物体检测框，计算物体检测框对应的反投影平面；

S3、构建对偶椭球包络方程；

S4、计算椭球最小包络盒的三维尺寸，从而获得物体的三维占据空间尺寸信息。

进一步地，所述步骤S1基于视觉—惯性耦合估计相机的位姿的具体过程如下：

采用视觉—惯性紧耦合框架，包括对图像进行SIFT特征提取和匹配关联；由于IMU和图像的数据频率不同，对图像关键帧C_i到C_j之间的IMU数据进行预积分，积分结果为帧间的IMU姿态ΔR，速度Δv和位置Δp；对于C_i的状态，融合进预积分结果可得C_j下的IMU相对于世界坐标系的姿态R，速度v和位置p；

对于已跟踪的特征点X，利用三角法估计出其三维坐标，对于已经存在于地图中，并且与当前帧特征点建立起数据关联的特征点，加入优化函数之中；

构建视觉重投影误差及IMU惯性误差作为优化代价函数，函数如下：

其中，E_proj(k,j)为视觉传感的代价函数，其定义来自特征点的三维坐标在图像上的重投影误差：