[发明专利]从事件相机中的局部补块联合学习视觉运动和置信度

说明书

一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件确定该组像素的一组电压；基于该组像素的该组电压产生一组图像；将该组图像输入到配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入到第一神经网络和第二神经网络中，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和所述置信度分数。

技术领域

本公开涉及使用诸如动态视觉传感器的基于事件的相机(DVS)来执行运动估计。

背景技术

仅当在其视场中的对数光强度存在超过阈值的变化时，在基于事件的相机中的各个像素才报告。这种操作可以非常快速地执行，而不受相邻像素的影响，并且具有最小绝对光强度的影响。这产生了无需高功率或者限制为统一和良好照明环境的、例如低延迟视觉的固有优点。以这种方式，基于事件的相机对于需要精确定时以及在照明条件的极端变化下理想不变的基于运动的任务是有吸引力的。随着新的数据处理技术的发展，可以实现基于事件视觉的其它优点，例如由于其稀疏的、异步的输出而用于具有低计算成本的视觉的潜力。

发明内容

技术方案

一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件，确定该组像素的一组电压；基于该组像素的一组电压，产生一组图像；将该组图像输入到配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入至配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入至第一神经网络和第二神经网络，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和置信度分数。

附图说明

从以下结合附图的描述中，本公开的实施方式的上述和其它方面、特征和方面将变得更加明显，其中：

图1是根据实施方式的使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的示例系统的示意图；

图2是根据一个实施方式的用于使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的系统的装置的示意图；

图3是根据实施方式的图2的装置的部件的示意图；

图4是根据实施方式的视觉运动估计装置的部件的示意图；

图5是使用一组神经网络获得对象的视觉运动估计和视觉运动估计的置信度分数的方法的流程图；以及

图6是用于使用神经网络确定要用于生成一组图像的一组像素的尺寸的方法的流程图。

具体实施方式

最佳模式

根据示例性实施方式的一方面，一种方法可以包括获得与对象相关联的动态视觉传感器的一组像素的一组事件；基于该组事件，确定该组像素的一组电压；基于该组像素的一组电压，产生一组图像；将该组图像输入至配置为输出对象的视觉运动估计的第一神经网络中；将该组图像输入至配置为输出第一神经网络输出的视觉运动估计的置信度分数的第二神经网络；基于将该组图像输入到第一神经网络和第二神经网络，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数；提供对象的视觉运动估计和置信度分数。

根据示例性实施方式的一方面，一种装置可以包括配置为存储指令的存储器；以及处理器，配置为执行所述指令以：获得与对象相关联的动态视觉传感器的一组像素的一组事件，基于该组事件确定该组像素的一组电压，基于该组像素的一组电压产生一组图像，将该组图像输入至配置为输出所述对象的视觉运动估计的第一神经网络中，将该组图像输入至配置为输出所述第一神经网络输出的视觉运动估计的置信度分数的第二神经网络，基于将该组图像输入到第一神经网络和第二神经网络中，获得对象的视觉运动估计和对象的视觉运动估计的置信度分数，提供对象的视觉运动估计和置信度分数。