[发明专利]一种基于深度相机与热像仪的室内定位与建图方法

权利要求书

1.一种基于深度相机与热像仪的室内定位与建图方法，其特征在于，包括以下步骤：

步骤一、将深度相机和热像仪固连，并对深度相机和热像仪进行内外参标定，使得同一视野的RGB图像、深度图像与热像图逐像素配准；

步骤二、使用深度相机和热像仪采集图像，得到连续的RGB图像、深度图像与热像图，并对热像图根据人体区域的灰度值阈值进行处理，得到人体mask图；

步骤三、将RGB图像与对应的人体mask图进行融合，得到RGB图像的感兴趣区域，并对感兴趣区域进行特征提取；构建相邻帧图像之间的位姿关系，并通过非线性优化算法迭代求解该位姿关系，得到彩色镜头的位姿；

步骤四、提取关键帧图像，将与关键帧图像对应的深度图像、人体mask图送入建图线程，构建全局Octomap地图。

2.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤三的具体操作过程是：

3-1根据人体mask图，设定对应的RGB图像的感兴趣区域为人体范围之外的区域；采用ORB特征提取算法对RGB图像的感兴趣区域进行特征提取，并得到感兴趣区域的ORB特征；然后将下一帧图像的ORB特征与上一帧图像的ORB特征进行特征匹配，并剔除误匹配，得到一组相匹配的优质特征点，并将得到的优质特征点存入局部特征图中；

3-2从对应的深度图像上获取每帧图像的优质特征点的深度值，并计算这些优质特征点的3D点云，同时得到上一帧图像与下一帧图像相匹配的一组特征3D点云；然后利用ICP算法进行相邻两帧图像之间的位姿估计；相邻两帧图像的任意两个匹配的特征3D点之间的位姿变换关系为R、t，R和t分别表示两个匹配的特征3D点之间的旋转和平移，且满足公式(4)；

利用彩色镜头的位姿构建如公式(5)的最小二乘损失函数，并通过不断迭代求解得到使公式(5)达到极小值时的R、t，此时R、t即为下一帧图像对应的彩色镜头的位姿；

式(4)和(5)中，分别表示上一帧图像中的任意一个特征3D点的坐标以及下一帧图像与上一帧图像的相匹配的特征3D点的坐标；表示根据上一帧图像对应的彩色镜头的位姿估计到的在下一帧图像中的点。

3.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤四的具体操作过程是：

4-1将步骤二采集的所有RGB图像都通过步骤三的操作进行位姿估计，从完成位姿估计的RGB图像中提取关键帧图像；将关键帧图像对应的深度图像和人体mask图进行融合，并根据人体mask图将深度图像上人体范围内的深度值置为0，得到滤除人体后的深度图像；

4-2遍历关键帧图像的所有像素点，假定某个像素点k在彩色镜头坐标系下的坐标为在世界坐标系下的坐标为根据公式(6)将像素点k在彩色镜头坐标系下的坐标转换为世界坐标下的坐标，用于构建全局Octomap地图；

4-3从关键帧图像对应的滤除人体后的深度图像上观测所有像素点的深度值，并根据像素点的深度值判定该像素点对应的空间点是否被占据，得到关键帧对应的局部Octomap地图；对所有的局部Octomap地图进行拼接，完成全局Octomap地图的构建；在机器人行走过程中，利用彩色镜头、深度镜头以及热像仪采集的数据，实时更新整个全局Octomap地图。

4.根据权利要求1所述的基于深度相机与热像仪的室内定位与建图方法，其特征在于，步骤二的具体操作过程是：

对热像图进行处理，确定人体所处像素范围的灰度值范围，并以这个灰度值范围作为图像二值化的阈值；遍历热像图上的所有像素点，将阈值内的像素点的灰度值置为255，其余像素点的灰度值置为0，得到二值图像；然后对二值图像进行滤波处理，再使用OpenCV库对人体区域放大至1.05倍，得到人体mask图。