[发明专利]执行对象的深度估计的方法和装置

权利要求书

1.一种用于由电子设备执行图像中的对象的深度估计的方法，所述方法包括：

由电子设备捕获场景的图像；

由电子设备的传感器从图像获得像素强度数据和事件数据；

使用事件数据来生成事件深度图，其中，事件数据包括图像的事件图数据和图像的事件速度数据；以及

使用事件深度图和像素强度数据来生成图像中的对象的深度图。

2.根据权利要求1所述的方法，其中，生成事件深度图包括：

通过处理图像的事件图数据，生成时空二维(2D)事件图和事件强度图像；以及

使用时空2D事件图和事件速度数据来生成事件深度图。

3.根据权利要求2所述的方法，其中，使用时空2D事件图和事件速度数据来生成事件深度图包括使用电子设备的捕获设备的旋转度和电子设备的传感器的平移估计数据。

4.根据权利要求3所述的方法，还包括沿着图像的边缘来分布事件深度图。

5.根据权利要求1所述的方法，其中，使用事件深度图和像素强度数据来生成图像中的对象的深度图包括将事件深度图与像素强度数据进行组合。

6.根据权利要求1所述的方法，其中，生成图像中的对象的深度图包括：

使用像素强度数据从图像获得红色、绿色和蓝色(RGB)图像；

基于事件深度图和事件强度图像来生成中间深度图；以及

通过将中间深度图与RGB图像进行组合来生成深度图。

7.根据权利要求6所述的方法，其中，将中间深度图与RGB图像进行组合包括通过应用引导的表面拟合过程来将中间深度图与RGB图像进行组合。

8.根据权利要求6所述的方法，其中，生成图像中的对象的深度图还包括使用中间深度图的深度平滑和孔洞填充来对中间深度图进行后处理。

9.根据权利要求1所述的方法，其中，由电子设备的传感器获得像素强度数据和事件数据包括：

由传感器的有源像素传感器(APS)获得像素强度数据；以及

由传感器的动态视觉传感器(DVS)获得事件数据。

10.根据权利要求1所述的方法，还包括针对像素强度数据执行事件数据的定时同步和定时校正。

11.根据权利要求1所述的方法，还包括：

基于数据的场景数据速率和电子设备的最大吞吐量，对电子设备的深度估计电路执行频率缩放；以及

基于频率缩放来确定电子设备的操作频率。

12.根据权利要求1所述的方法，还包括：

由传感器获得图像中的对象的深度信息；以及

由传感器获得图像中的对象的运动信息。

13.根据权利要求1所述的方法，还包括通过对累积的事件数据进行插值来生成像素强度数据。

14.一种用于执行图像中的对象的深度估计的装置，该装置包括：

相机，被配置为捕获场景的图像；

传感器，被配置为从图像获得像素强度数据和事件数据；以及

处理器，被配置为：

使用事件数据来生成事件深度图，其中，事件数据包括图像的事件图数据和图像的事件速度数据，以及

使用事件深度图和像素强度数据来生成对象的深度图。

15.一种在其上存储指令的非暂时性计算机可读介质，其中所述指令在被执行时指示至少一个处理器执行一种方法，该方法包括：

由电子设备捕获场景的图像；

由电子设备的传感器从图像获得像素强度数据和事件数据；

使用事件数据来生成事件深度图，其中，事件数据包括图像的事件图数据和图像的事件速度数据；以及

使用事件深度图和像素强度数据来生成图像中的对象的深度图。