[发明专利]一种神经形态视觉采样方法及装置

说明书

本发明公开了一种神经形态视觉采样方法及装置，方法包括：采集当前场景中不同位置点的光信号并转化为亮度信号；将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。本发明不使用动态视觉传感器或积分视觉传感器获取脉冲阵列信号，而是通过神经网络进行神经形态的视觉采样，并将视觉分析计算任务与采样一体化，从而可以灵活定制多种视觉采样模型，以适应多场景，多任务的应用需求，提升自使用感知性能。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种神经形态视觉采样方法及装置。

背景技术

神经形态视觉传感器具有高时域分辨率、高动态范围、低数据冗余和低功耗等优势，在自动驾驶、无人机视觉导航等领域具有广阔的应用前景。目前常用的神经形态视觉传感器有DVS(dynamic vision sensor，动态视觉传感器)和IVS(Intelligent Visionsensor，积分视觉传感器)。

在利用神经形态视觉传感器进行各类视觉任务(如识别、重构、分类)的现有方法中，一种是将神经形态视觉传感器输出的脉冲阵列信号转化为一帧帧的图片，并在此基础上应用传统视觉算法进行分析；另一种是通过深度网络提取脉冲阵列信号的时空特征，并执行后续视觉任务。

无论采用哪种方法，都需要先通过神经形态视觉传感器对场景进行拍摄，再根据已有的神经形态表征设计网络并训练，采样模型固定，并不能适应多场景、多任务的应用需求。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种神经形态视觉采样方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种神经形态视觉采样方法，所述方法包括：

采集当前场景中不同位置点的光信号并转化为亮度信号；

将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；

将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。

本发明的第二方面提出了一种神经形态视觉采样装置，所述装置包括：

光电转换模块，用于采集当前场景中不同位置点的光信号并转化为亮度信号；

脉冲采样编码模块，用于将所述光电转换模块转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号；

视觉任务模块，用于将所述脉冲采样编码模块得到的脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果。

基于上述第一方面及第二方面所述的神经形态视觉采样方法及装置，本申请具有如下有益效果：

本发明不使用动态视觉传感器或积分视觉传感器获取脉冲阵列信号，而是通过神经网络进行神经形态的视觉采样，并将视觉分析计算任务与采样一体化，从而可以灵活定制多种视觉采样模型，以适应多场景，多任务的应用需求，提升自使用感知性能。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种神经形态视觉采样方法的实施例流程图；

图2为本发明根据一示例性实施例示出的一种脉冲采样模型的结构示意图；