[发明专利]基于稠密视觉SLAM的无人机三维地图快速重建方法

摘要

本发明公开了一种基于稠密视觉SLAM的无人机三维地图快速重建方法，本发明发明ROS分布式计算架构特性，并结合视觉SLAM算法设计多节点分布式计算、通信的方式与策略，然后搭建ROS网络，基于可视化工具对ROS下的节点运行状态及图像、三维信息进行实时监测。引入CUDA并行编程模型，分析三维地图重建中的算法热点，设计并行算法，并在嵌入式GPU平台上对其实现，验证其在处理速度上的提升。基于ROS分布式计算框架，设计与实现多进程节点的视觉SLAM三维地图重建系统原型。通过运行实时的无人机载视觉传感器图像数据，验证基于视觉SLAM的三维地图重建算法的实用性，具有推广应用的价值。

主权项

1.一种基于稠密视觉SLAM的无人机三维地图快速重建方法，其特征在于：包括无人机平台三维地图快速重建、无人机三维地图快速重建算法、无人机三维地图快速重建系统、基于ROS的视觉SLAM节点通信系统和基于ROS的视觉SLAM节点通信算法；/n所述无人机平台三维地图快速重建：/n基于ROS的系统硬件底层抽象方法：/n接受使用sensor_msgs/Image消息类型的传感器数据，该消息类型包含RAW图像和压缩图像两种，RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据；/n在成功获取传感器数据后，ROS在图像管道提供了相机标定、扭曲校正、颜色解码，ROS图像管道通过image_proc功能包运行，提供用于从摄像头采集的RAW图像中获取单色和彩色的转换功能，在标定完摄像头，图像管道就会提取CameraInfo消息并修正图像的径向与切向畸变，即在获取数据的同时能够完成预处理；/n对于复杂的图像处理任务，使用OpenCV、cv_bridge和image_transport库对消息进行转换连接，对订阅和发布的图像Topic进行处理，另一方面，OpenCV进行图像处理时，使用cv_bridge将其转换为ROS Image消息发布；/n在ROS中将执行计算的进程称为节点，为了在节点中使用OpenCV进行图像处理，需要安装独立的OpenCV库，然后必须在工作空间下的package.xml文件中指定编译和运行需要的opencv2依赖包；然后，对于每个使用OpenCV的节点，必须在target_link_libraries中加OpenCV的lib文件；最后，在节点的cpp文件中，加入所需的OpenCV头文件；/n通过上述过程与步骤，实现对硬件的抽象，即通过传感器获取数据，将其发布至ROS网络中，并通过订阅图像的RAW消息，使用OpenCV来进行图像处理；/n算法解耦与分布式计算：/n三维重建算法运行时，将运行多个节点，每个节点对应实现各自的功能，节点间通过ROS消息进行通信，各个节点可在不同设备上运行，通过ROS构建的网络，实现算法功能的耦合；/n基于CUDA并行计算的算法加速方法：/n选择NVIDIA Jetson TX2嵌入式开发模块作为实验的处理平台，在基于TX2开发模块的并行程序运行时，每32个并行线程被叫做一个Wrap，GPU中线程的调度执行是以一个Wrap为一个调度单位进行的，每一个SM内有2个线程束调度器，每个线程束调度器内有32个CUDA核，该GPU共256个CUDA核；/n基于Topic的消息传递与通信：/n(1)启动Talker，Talker通过端口将其信息注册到Master端，其中包括Talker所发布消息的话题名、节点地址信息等；Master将这些信息加入到一个注册列表中；/n(2)启动Listener，Listener向Master端注册，注册其所需订阅的话题以及Listener自己的地址信息；/n(3)Master对发布者与订阅者进行信息匹配，如果二者发布/订阅同一Message则帮其建立连接；如果没有匹配的则继续等待；若找到匹配的，且此时Talker在发布Message，便会把Talker的地址发送给Listener；/n(4)Listener接收到Master发送的Talker地址后，向Talker发送连接请求，同时将Listener要订阅的话题名和完成通讯所需的通信协议全发给Talker；/n(5)Talker接收到Listener请求后，返还一个确认连接的信息，包括其自身的TCP地址；/n(6)Listener接收到Talker的TCP地址后，通过TCP与Talker建立网络连接；/n(7)Talker通过建立的TCP网络连接将数据发送给Listener；/n所述无人机三维地图快速重建系统：包括视觉传感器、无人机、嵌入式处理器、GPU，软件实现视觉SLAM的核心算法；软硬件通过分布式框架及通信协议相互联系，组成完整的软硬件系统；其流程如下：/n(1)无人机机载嵌入式搭载视觉传感器，获取实时图像序列；/n(2)图像序列分别传输至前端与后端；/n(3)前端通过特征提取匹配、关键帧提取、位姿估计为后端提供位姿初值；/n(4)后端对(2)中接收的图像进行闭环检测，并对(3)中获取的位姿进行优化；/n(5)后端基于位姿与图像进行稠密重建；/n(6)由观测端通过ROS可视化工具进行实时监测；/n所述无人机三维地图快速重建算法：/n视觉SLAM前端算法的流程如下：/n(1)SLAM系统提供接口，接收由传感器所获取的连续的图像序列，将图像序列传入VO端；/n(2)判断SLAM系统是否已初始化完成，若未完成，则进行第(3)步，若已完成初始化，则进行第(4)步；/n(3)初始化第一个关键帧，并初始化位姿T0；/n(4)持续对图像序列进行ORB特征提取，选取下一个关键帧F