[发明专利]基于视觉SLAM估计空间旋转非合作目标转轴的方法

摘要

基于视觉SLAM估计空间旋转非合作目标转轴的方法，本发明涉及估计空间旋转非合作目标转轴的方法。本发明的目的是为了解决现有方法估计的精度较差，计算条件受限制，以及并未考虑到相机拍摄的图片中存在其他碎片等干扰，使旋转非合作目标转轴估计的误差大的问题。过程为：一、得到训练好的YOLO目标检测模型；二、建立k叉数字典；三、估计出每帧旋转矩阵和平移矩阵；四、对RGBD相机采集的每帧图像处理，直至检测出两次回环或达到指定时间或帧数，RGBD相机停止采集图像；五、拟合成的空间平面的法线是非合作目标转轴的斜率，空间圆弧的圆心是非合作目标转轴经过的点。本发明用于航天在轨服务领域。

主权项

1.基于视觉SLAM估计空间旋转非合作目标转轴的方法，其特征在于：所述方法具体过程为：步骤一、利用ImageNet数据库对YOLO目标检测模型做预训练；将前期获得的非合作目标图片输入预训练好的YOLO目标检测模型进行训练，得到训练好的YOLO目标检测模型；步骤二、对前期获得的非合作目标图片信息提取ORB特征点，利用K均值算法进行聚类建立k叉数字典；步骤三、设三个坐标系，分别是C坐标系、C0坐标系、B坐标系；C坐标系为相机坐标系；B坐标系为非合作目标本体坐标系，且过非合作目标质心；C0坐标系与B坐标系运动同步，且相机采集到第一帧置信值大于0.95的图像时，C0坐标系与C坐标系重合；各坐标系的实际运动情况为：以地面为参考系C坐标系静止；B坐标系以恒定角速度自旋；C0坐标系的运动与B坐标系转动同步，随时间移动，C0坐标系原点的轨迹呈圆弧；利用相对运动原理，将各坐标系的实际运动情况转换成SLAM算法适用的场景：B坐标系与C0坐标系静止，C坐标系绕B坐标系转动；估计出每帧C坐标系相对于C0坐标系的旋转矩阵Rk和平移矩阵tk；具体过程为：步骤三一、RGBD相机采集彩色图像和深度图像，将RGBD相机采集的彩色图像输入训练好的YOLO目标检测模型进行实时目标识别与检测，若检测到某帧彩色图像的confidence值大于0.95，则停止YOLO模型检测，并记录YOLO输出的此帧彩色图像的x′，y′，w′，h值，将x′，y′，w′，h值构成的区域记作ROI区域；所述confidence为置信度，x′，y′为目标所在图像像素区域的中心坐标值，w′为目标所在图像像素区域的宽，h为目标所在图像像素区域的高；步骤三二、若RGBD相机采集到的彩色图像是confidence值大于0.95后的第i帧图像，i＝1；提取彩色图像的confidence值大于0.95后的第i帧图像ROI区域中的ORB特征点，以C0坐标系为世界坐标系，根据深度图像的信息将ORB特征点转换为世界坐标系下的三维地图点，放入局部地图中，并将彩色图像的confidence值大于0.95后的第一帧设为关键帧；所述第i帧图像为彩色图像的confidence值大于0.95后的第i帧图像；关键帧的选取原则：距上一关键帧插入已经超过20帧，或者当前帧的ORB特征点与地图点成功匹配上了至少50个点；步骤三三、若RGBD相机采集到的彩色图像是confidence值大于0.95后的第i帧图像，i≠1；提取彩色图像的confidence值大于0.95后的第i帧图像ROI区域中的ORB特征点；首先，局部地图中的地图点与彩色图像的confidence值大于0.95后的第i帧图像的ORB特征点进行匹配，并更新局部地图：1)给定一个阈值，当匹配上的点大于阈值，删除局部地图中不在当前帧相机视野内的地图点；2)当匹配上的点小于等于阈值时，将当前帧的所有的ORB特征点转换成地图点，放入到局部地图中；3)对于关键帧，要将关键帧中所有的ORB特征点转换为地图点存入局部地图；然后，根据匹配好的地图点与第i帧图像的ORB特征点，采用3D‑2D:PnP方法，计算出第i帧图像的Ri和ti，并将第1至第i帧的Rk和tk传入步骤三四的图优化中进行后端优化；步骤三四、建立因子图，用g2o对因子图进行后端优化，即对第1至第i帧图像的C坐标系相对于C0坐标系的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点进行优化，得到优化后的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点，k＝1,2,…,i；步骤三五、若检测到的彩色图像的confidence值大于0.95后的第i帧为被检测帧，则基于词袋模型进行回环检测，判断第i帧是否能检测出回环，若是，再次优化第1至第i帧图像的C坐标系相对于C0坐标系的旋转矩阵Rk、平移矩阵tk和局部地图上的地图点；若否，则执行步骤四；若第i帧不是被检测帧，则执行步骤四；步骤四、对YOLO目标检测模型输出的彩色图像的confidence值大于0.95后RGBD相机采集的每帧图像，均执行一次步骤三二至步骤三五，直至检测出两次回环或达到指定时间或帧数，RGBD相机停止采集图像；步骤五、C坐标系相对C0坐标系的运动轨迹为圆弧，设C0坐标系的原点为p(0,0,0)，根据步骤四中估计出的每帧C坐标系相对于C0坐标系的平移矩阵tk，设每帧C坐标系的原点在C0坐标系下为tcc0，tcc0＝p+tk；彩色图像的confidence值大于0.95后的n帧图像C坐标系在C0坐标系下的原点三维坐标拟合成空间平面和空间圆弧；所述n帧为RGBD相机停止采集图像前彩色图像的confidence值大于0.95后的所有帧；拟合成的空间平面的法线是非合作目标转轴的斜率，空间圆弧的圆心是非合作目标转轴经过的点。