[发明专利]基于深度相机的室内飞艇定位与避障系统

权利要求书

1.一种基于深度相机的室内飞艇定位与避障方法，包括：

通过在所述室内飞行的飞艇所携带的深度相机捕获视频；

从所述视频中提取多个关键帧，每个关键帧包括相关联的特征点与描述子；

通过相邻关键帧的匹配的特征点确定所述深度相机的位姿；

对连续的多个关键帧与检测到的回环通过非线性优化得到全局一致的所述深度相机的运动轨迹；

根据运动轨迹与所述视频建立所述飞艇所处室内场景的地图；

根据各关键帧识别关键帧中的障碍物，根据深度相机到识别出的障碍物的距离、方向与所述飞艇的尺寸和速度选择避障策略；以及

根据避障策略驱动所述飞艇在所述室内飞行。

2.根据权利要求1所述的方法，其中

所述飞艇包括气囊，位于所述气囊两侧的推进装置，位于所述气囊底部的吊舱与其位于所述吊舱内部设置的通信模块和固定于所述吊舱下方固定的深度相机。

3.根据权利要求1或2所述的方法，其中

从所述视频中提取多个关键帧包括：

从所述视频提取多个所包括的特征点的数量大于阈值的帧；若所提取的当前帧相对于时间上相邻的前一个关键帧的对应深度相机的位姿变化大于阈值，和/或所述当前帧相对于时间上相邻的前一个关键帧的语义信息差距大于阈值，确定所述当前帧为关键帧。

4.根据权利要求3所述的方法，其中特征点包括关键点和同关键点关联的描述子；

通过如下步骤确定帧中的特征点的关键点：

通过对从所提取的多个帧的第二帧得到的彩色图计算梯度求得表示纹理特征的Harris角点的响应值R，以及将彩色图的每个点的响应值所表达的图称为响应值图；

通过对深度图做进行u、v方向两方向差分得到像素的Z坐标在两个像素轴的梯度G_dzu与G_dzv，并计算表示每个像素点的几何特征变化G＝G_dzu+G_dzv；其中，像素点在三维空间中的坐标为(X,Y,Z)，u、v是像素坐标系的坐标轴；

综合纹理特征和几何特征为每个像素计算S＝R+w·G，根据为各像素计算的S选取具有局部最大值的像素作为关键点。

5.根据权利要求4所述的方法，其中

通过如下步骤确定同关键点关联的描述子：

在关键点周围取大小为30×30的邻域窗口，在每个窗口内随机选取128个随机点对，用所选取128个随机点对构建128维的描述子，其中描述子各维度值的构建方式如下：

其中，p(x),p(y)为对应的随机点对(x,y)的像素值。

6.根据权利要求5所述的方法，其中

通过相邻关键帧的匹配的特征点确定所述深度相机的位姿包括：

根据相邻关键帧的第一关键帧的特征点记为{x₁,…,x_n}与第一关键帧相邻的特征点记为{x₁′,…,x_n′}，其中n为正整数，获取第一关键帧的特征点{x₁,…,x_n}与第二关键帧的特征点{x₁′,…,x_n′}中的匹配点对(p_i,p'_i)，i为正整数，i＜＝n，其中所获取的匹配点对中P＝{p₁,...,p_k}是来自第一关键帧的特征点集合，而P′＝{p₁′,...,p_k′}是来自第二关键帧的特征点集合；通过集合P与P'用迭代最近点的方式得到第二关键帧时所述深度相机的位姿相对于所述第一关键帧时的位姿变化；

累积所述深度相机的位姿变化得到深度相机的位姿。

7.根据权利要求6所述的方法，其中

使用滑动窗口法来对窗口内包括的多个连续关键帧采用非线性优化的方式进行优化，得到全局一致的运动轨迹和地图。