[发明专利]无人机三维地图构建方法、装置、计算机设备及存储介质在审
申请号: | 201910209625.1 | 申请日: | 2019-03-19 |
公开(公告)号: | CN110047142A | 公开(公告)日: | 2019-07-23 |
发明(设计)人: | 周翊民;龚亮;吴庆甜 | 申请(专利权)人: | 中国科学院深圳先进技术研究院 |
主分类号: | G06T17/05 | 分类号: | G06T17/05 |
代理公司: | 深圳中细软知识产权代理有限公司 44528 | 代理人: | 安秀梅 |
地址: | 518000 广东省深圳市*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 视频帧图像 三维点云 目标物信息 三维地图 特征点 计算机设备 特征点匹配 存储介质 三维坐标 构建 位姿变换矩阵 世界坐标系 颜色直方图 变换矩阵 地图构建 构建装置 目标检测 匹配算法 特征变换 相机拍摄 实时性 匹配 尺度 转换 申请 | ||
1.一种无人机三维地图构建方法,其特征在于,所述方法包括:
获取相机拍摄得到的视频帧图像,提取每个视频帧图像中的特征点;
采用颜色直方图和尺度不变特征变换混合匹配算法对视频帧图像之间的特征点进行匹配,得到视频帧图像之间的特征点匹配对;
根据所述视频帧图像之间的特征点匹配对计算得到视频帧图像之间的位姿变换矩阵;
根据所述位姿变换矩阵确定每个视频帧图像对应的三维坐标;
根据视频帧图像对应的三维坐标和相应的位姿变换矩阵将视频帧图像中的特征点的三维坐标转换到世界坐标系下,得到三维点云地图;
将所述视频帧图像作为目标检测模型的输入,获取所述目标检测模型检测得到的视频帧图像中的目标物信息;
将所述三维点云地图与所述目标物信息结合,得到包含有目标物信息的三维点云地图。
2.根据权利要求1所述的方法,其特征在于,所述采用颜色直方图和尺度不变特征变换混合匹配算法对视频帧图像之间的特征点进行匹配,得到视频帧图像之间的特征点匹配对,包括:
采用颜色直方图特征匹配算法对视频帧图像之间的特征点进行匹配,得到第一匹配对集合;
采用尺度不变特征变换匹配算法对所述第一匹配对集合中的匹配点进行进一步匹配得到目标特征点匹配对。
3.根据权利要求1所述的方法,其特征在于,根据所述视频帧图像之间的特征点匹配对计算得到视频帧图像之间的位姿变换矩阵,包括:
获取所述特征点匹配对中每个特征点的三维坐标;
计算将一个视频帧图像中特征点的三维坐标转换到另一视频帧图像得到的转换三维坐标;
获取所述另一视频帧图像中相应匹配的特征点对应的目标三维坐标;
根据所述转换三维坐标和所述目标三维坐标计算得到位姿变换矩阵。
4.根据权利要求1所述的方法,其特征在于,所述目标检测模型是基于深度学习模型训练得到的;
在所述将所述视频帧图像作为目标检测模型的输入,获取所述目标检测模型输出的检测得到目标物之前,还包括:
获取训练视频图像样本,所述训练视频图像样本包括正样本和负样本,所述正样本中包括有目标物以及所述目标物在所述视频图像中位置标记;
根据所述训练视频图像样本对所述目标检测模型进行训练,得到训练好的目标检测模型。
5.根据权利要求1所述的方法,其特征在于,所述将所述三维点云地图与所述目标物信息结合,得到包含有目标物信息的三维点云地图,包括:
获取检测得到的目标物在视频帧图像中的目标位置;
根据所述目标位置确定与之匹配的特征点;
根据所述特征点将所述物体类别信息标注到所述三维点云地图。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取惯性测量单元测量得到的测量数据;
根据所述测量数据计算得到视频帧之间的初始位姿变换矩阵;
所述根据所述视频帧图像之间的特征点匹配对计算得到视频帧图像之间的位姿变换矩阵,包括:
根据所述初始位姿变换矩阵和所述视频帧图像之间的特征点匹配对计算得到视频帧之间的目标位姿变换矩阵。
7.根据权利要求1所述的方法,其特征在于,在所述根据所述视频帧图像之间的特征点匹配对计算得到视频帧图像之间的位姿变换矩阵之后,还包括:
计算当前视频帧与前一关键帧之间的运动量,若运动量大于预设阈值,则将当前视频帧作为关键帧;
当所述当前视频帧为关键帧时,将当前视频帧与之前的关键帧库中的关键帧进行匹配,若所述关键帧库中存在与当前视频帧匹配的关键帧,则将当前视频帧作为回环帧;
根据所述回环帧对相应的位姿变换矩阵进行优化更新,得到更新位姿变换矩阵;
所述根据所述位姿变换矩阵确定每个视频帧图像对应的三维坐标,包括:根据所述更新位姿变换矩阵确定每个视频帧图像对应的三维坐标。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院,未经中国科学院深圳先进技术研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910209625.1/1.html,转载请声明来源钻瓜专利网。