[发明专利]图像处理方法和设备

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取单目摄像头拍摄的多帧图像；

根据相机拍摄所述多帧图像时的位姿关系，从所述多帧图像中，提取多个关键帧图像；

利用相机拍摄所述多个关键帧图像时的位姿，计算所述多个关键帧图像中的特征点的深度信息。

2.根据权利要求1所述的方法，其特征在于，所述根据相机拍摄所述多帧图像时的位姿关系，从所述多帧图像中，提取多个关键帧图像，包括：

从所述多帧图像中，提取第一个关键帧图像；

获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系；

在相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系满足预设关系时，将所述下一帧图像确定为所述关键帧图像。

3.根据权利要求2所述的方法，其特征在于，所述预设关系为：

旋转角度小于或等于第一阈值；和/或，

位置变化小于或等于第二阈值。

4.根据权利要求2或3所述的方法，其特征在于，所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系，包括：

通过位姿关系累计的方式，得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。

5.根据权利要求2或3所述的方法，其特征在于，所述获取相机拍摄所述多帧图像中的下一帧图像与上一个关键帧图像时的位姿关系，包括：

根据所述下一帧图像和所述上一个关键帧图像的位置和/或姿态，得到相机拍摄所述下一帧图像与所述上一个关键帧图像时的位姿关系。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述多帧图像是连续的多帧运动姿态变化量小于或等于第三阈值的图像。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述利用相机拍摄所述多个关键帧图像时的位姿，计算所述多个关键帧图像中的特征点的深度信息，包括：

从所述多个关键帧图像中选择多个待处理的特征点；

计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及计算相机拍摄每个关键帧图像时的位姿；

根据所述每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及相机拍摄所述每个关键帧图像时的位姿，确定所述每个待处理的特征点的深度信息。

8.根据权利要求7所述的方法，其特征在于，所述从所述多个关键帧图像中选择多个待处理的特征点，包括：

从所述多个关键帧图像中选择多个初始特征点；

计算所述多个初始特征点中每个初始特征点从第一关键帧图像到第二关键帧图像的第一光流；

计算所述每个初始特征点从所述第二关键帧图像到所述第一关键帧图像的第二光流；

将所述第一光流与所述第二光流之和的绝对值小于等于第四阈值对应的初始特征点，确定为所述待处理的特征点。

9.根据权利要求7或8所述的方法，其特征在于，所述计算所述多个待处理的特征点中每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及计算相机拍摄每个关键帧图像时的位姿，包括：

利用集束调整算法，计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及相机拍摄所述每个关键帧图像时的位姿。

10.根据权利要求9所述的方法，其特征在于，所述利用集束调整算法，计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及相机拍摄所述每个关键帧图像时的位姿，包括：

将初始计算的位姿关系作为初始值，利用所述集束调整算法，计算所述每个待处理的特征点在所述多个关键帧图像之间的相对位置，以及相机拍摄所述每个关键帧图像时的位姿；

其中，所述初始计算的位姿关系是相机拍摄所述多个关键帧图像时的位姿关系，且是利用视觉里程计、惯性测量单元和全球定位系统中的至少一种得到的。