[发明专利]用于检测对象的3D关联的系统与方法

权利要求书

1.电子装置，包括：

至少一个图像传感器；

惯性测量传感器；

存储器；以及

至少一个处理器，联接到所述至少一个图像传感器、所述惯性测量传感器和所述存储器，所述至少一个处理器配置为：

使用所述至少一个图像传感器拍摄环境的图像；

在所拍摄的图像中检测对象；

限定所述图像中围绕所检测的对象的有界区域；

从所述惯性测量传感器接收头部姿态数据；以及

使用所述头部姿态数据和所拍摄的图像中的所述有界区域来确定所检测的对象在3D空间中的位置。

2.根据权利要求1所述的电子装置，其中，为了确定所检测的对象的位置，所述至少一个处理器还配置为：

使用所述至少一个图像传感器和所述惯性测量传感器生成所述环境的至少一部分的3D点云；

将所述3D点云的特征点投影到所拍摄的图像中，其中，所拍摄的图像包括所述有界区域；

确定所述特征点中位于所述对象的表面上的特征点；以及

移除不位于所述对象的所述表面上的特征点。

3.根据权利要求2所述的电子装置，其中，所述至少一个处理器还配置为：

确定稀疏图被用于生成所述3D点云；

生成所述有界区域的密集图3D点云；以及

将所述密集图3D点云的特征点投影到所拍摄的图像的所述有界区域中。

4.根据权利要求1所述的电子装置，其中，为了确定所检测的对象的位置，所述至少一个处理器还配置为：

使用所述至少一个图像传感器拍摄多个图像；

在所述多个图像中的每个中检测所述对象；

限定所述多个图像中的有界区域，其中，所述有界区域中的每个有界区域均限定在所述多个图像中的一个图像中的所检测的对象周围；以及

利用所述多个图像中的至少另一个图像中的所述对象的位置对所述多个图像中的一个图像中的所述对象的位置进行三角测量。

5.根据权利要求4所述的电子装置，其中，为了对所述对象的位置进行三角测量，所述至少一个处理器还配置为：

在所述多个图像中的每个中生成2D特征点；

确定位于所述多个图像中的每个所述有界区域内的所述2D特征点；以及

利用位于所述多个图像中的另一个图像的所述有界区域中的另一个有界区域内的所述2D特征点对位于所述多个图像中的一个图像的所述有界区域中的一个有界区域内的所述2D特征点实施三角测量。

6.根据权利要求4所述的电子装置，其中，为了对所述特征点进行三角测量，所述至少一个处理器还配置为：

在所述多个图像中的至少两个图像的每个所述有界区域之间实施像素匹配；以及

在所述多个图像中的所述至少两个图像的匹配像素之间实施三角测量。

7.根据权利要求1所述的电子装置，其中，所述至少一个处理器还配置为将虚拟对象与所检测的对象相邻地放置在所述3D空间中，其中，所检测的对象和所述虚拟对象与对象类关联。

8.用于检测对象的3D关联的方法，所述方法包括：

使用至少一个图像传感器拍摄环境的图像；

在所拍摄的图像中检测对象；

限定所述图像中围绕所检测的对象的有界区域；

从惯性测量传感器接收头部姿态数据；以及

使用所述头部姿态数据和所拍摄的图像中的所述有界区域、使用处理器来确定所检测的对象在3D空间中的位置。

9.根据权利要求8所述的方法，其中，确定所检测的对象的位置包括：

使用所述至少一个图像传感器和所述惯性测量传感器生成所述环境的至少一部分的3D点云；

将所述3D点云的特征点投影到所拍摄的图像中，其中，所拍摄的图像包括所述有界区域；

确定所述特征点中位于所述对象的表面上的特征点；以及

移除不位于所述对象的所述表面上的特征点。