[发明专利]使用距离传感器多次扫描和来自连续图像帧的多视图几何结构的密集映射

权利要求书

1.一种系统，包括：

距离传感器，所述距离传感器被配置为接收从环境中的对象反射的信号并且在不同时间生成所述环境的两个或更多个连续扫描；

相机，所述相机被配置为捕获所述环境的两个或更多个连续相机图像，其中所述环境的所述两个或更多个连续相机图像中的每一个由所述相机在所述环境内的不同位置处捕获；和

处理电路，所述处理电路被配置为基于所述两个或更多个连续扫描以及所述两个或更多个连续相机图像来生成所述环境的三维地图。

2.根据权利要求1所述的系统，其中所述处理电路被进一步配置为将所述两个或更多个连续扫描中的点与所述两个或更多个连续相机图像中的点匹配，

其中所述处理电路被配置为至少部分地通过以下方式生成所述环境的所述三维地图：

基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定第一对象在所述环境中的深度的估计；以及

基于将连续距离传感器图像上的点与所述连续相机图像匹配来确定所述第一对象的所述深度的精细估计。

3.根据权利要求2所述的系统，其中所述处理电路被进一步配置为基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来估计第二对象在所述环境中的深度，

其中所述处理电路被配置为基于所述第一对象的所述深度和所述第二对象的所述深度来生成所述环境的所述三维地图。

4.根据权利要求1所述的系统，其中所述处理电路被进一步配置为：

测量所述相机相对于所述距离传感器的旋转运动；以及

测量所述相机相对于所述距离传感器的平移运动，

其中所述处理电路被配置为基于所述两个或更多个连续扫描、所述两个或更多个连续相机图像、所述相机的所述旋转运动和所述相机的所述平移运动来生成所述三维地图。

5.根据权利要求1所述的系统，其中所述距离传感器包括雷达传感器，所述雷达传感器被配置为发射雷达信号并接收从所述环境中的所述对象反射的所述信号。

6.根据权利要求1所述的系统，其中所述处理电路被进一步配置为使用所述两个或更多个连续扫描作为深度约束，基于所述两个或更多个连续相机图像来执行同时定位和映射。

7.根据权利要求1所述的系统，其中所述处理电路被进一步配置为：

对所述两个或更多个连续扫描执行第一快速傅里叶变换以生成第一对象在所述环境中的深度的估计；

对所述两个或更多个连续扫描执行第二快速傅里叶变换以生成所述第一对象的相对速度；

对所述两个或更多个连续扫描执行第三快速傅里叶变换以生成从所述距离传感器到所述第一对象的角度的估计。

8.根据权利要求1所述的系统，

其中所述处理电路被进一步配置为：

基于所述两个或更多个连续相机图像来构建所述环境的空间成本体积；以及

基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定所述空间成本体积的像素级不确定性，并且

其中所述处理电路被配置为基于所述相机的旋转运动和所述相机的平移运动来确定所述空间成本体积的所述像素级不确定性。

9.一种方法，包括：

由来自距离传感器的处理电路接收由所述距离传感器在不同时间执行的环境的两个或更多个连续扫描，其中所述两个或更多个连续扫描表示从所述环境中的对象反射的信号导出的信息；

由所述处理电路接收由所述相机捕获的所述环境的两个或更多个连续相机图像，其中所述对象的所述两个或更多个连续相机图像中的每一个由所述相机在所述环境内的不同位置处捕获；以及

由所述处理电路基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来生成所述环境的三维地图。

10.根据权利要求9所述的方法，还包括将所述两个或更多个连续扫描中的点与所述两个或更多个连续相机图像中的点匹配，

其中生成所述环境的所述三维地图包括：

基于所述两个或更多个连续扫描和所述两个或更多个连续相机图像来确定第一对象在所述环境中的所述深度的估计；以及

基于将所述连续距离传感器图像上的所述点与所述连续相机图像匹配来确定所述第一对象的所述深度的精细估计。