[发明专利]一种神经形态视觉采样方法及装置

权利要求书

1.一种神经形态视觉采样方法，其特征在于，所述方法应用于视觉传感器，包括：

采集当前场景中不同位置点的光信号并转化为亮度信号；

将转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号，其中，通过循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号；

将所述脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果；

其中，通过所述循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号，包括：

通过所述循环神经网络中的积分编码网络对处理后的亮度信号进行积分编码得到积分型脉冲阵列信号；和/或，

通过所述循环神经网络中的差分编码网络对处理后的亮度信号进差分编码得到差分型脉冲阵列信号。

2.根据权利要求1所述的方法，其特征在于，所述采集当前场景中的不同位置点的光信号并转化为亮度信号，包括：

实时采集当前场景中不同位置点的光信号；

将采集到的光信号转换为电信号，并对电信号进行对数编码以得到亮度信号；

其中，针对当前场景转化得到的亮度信号为时间上连续且具有空间邻域关系的亮度信号。

3.根据权利要求1所述的方法，其特征在于，所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号，包括：

通过本脉冲采样模型中的卷积神经网络对所述亮度信号进行去噪处理和亮度自适应处理得到处理后的亮度信号，并输出到本脉冲采样模型中的循环神经网络中；

通过所述循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号。

4.根据权利要求3所述的方法，其特征在于，所述通过本脉冲采样模型中的卷积神经网络对所述亮度信号进行去噪处理和亮度自适应处理得到处理后的亮度信号，包括：

通过所述卷积神经网络中的特征提取模块对同一时间不同位置点亮度信号组成的阵列进行特征提取并输出到卷积神经网络中的去噪模块和亮度自适应模块；

通过所述去噪模块对提取到的特征阵列进行去噪处理，得到去噪后的阵列并输出到卷积神经网络中的融合模块；

通过所述亮度自适应模块对提取到的特征进行亮度自适应处理，得到自适应处理后的阵列并输出到所述融合模块；

通过所述融合模块将同一时间不同位置点亮度信号组成的阵列、去噪后的阵列和自适应处理后的阵列进行融合，得到处理后的亮度信号。

5.根据权利要求1所述的方法，其特征在于，所述通过所述循环神经网络中的积分编码网络对处理后的亮度信号进行差分编码得到积分型脉冲阵列信号，包括：

通过所述积分编码网络中的特征融合模块对隐藏层记录的积分信息、处理后的亮度信号在时间上的积分信息以及设定阈值进行融合，以生成积分型脉冲阵列信号。

6.根据权利要求1所述的方法，其特征在于，所述通过所述循环神经网络中的差分编码网络对处理后的亮度信号进差分编码得到差分型脉冲阵列信号，包括：

通过所述差分编码网络中的特征融合模块对隐藏层记录的亮度信息、处理后的亮度信号在时间上的变化信息以及设定阈值进行融合，以生成差分型脉冲阵列信号。

7.根据权利要求1所述的方法，其特征在于，所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果，包括：

当所述视觉任务模型用于目标识别时，通过所述视觉任务模型根据差分型脉冲阵列信号的时间维度特征和空间维度特征分别生成脉冲累积平面和感受野特征向量，根据所述脉冲累积平面和所述感受野特征向量识别得到目标识别结果。

8.根据权利要求1所述的方法，其特征在于，所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果，包括：

当所述视觉任务模型用于图像重构时，通过所述视觉任务模型根据差分型脉冲阵列信号的时间维度特征生成感受野特征向量，并根据积分型脉冲阵列信号和所述感受野特征向量进行图像重构得到重构图像。

9.一种神经形态视觉采样装置，其特征在于，所述装置应用于视觉传感器，包括：

光电转换模块，用于采集当前场景中不同位置点的光信号并转化为亮度信号；

脉冲采样编码模块，用于将所述光电转换模块转化得到的亮度信号输入已训练的脉冲采样模型，以由所述脉冲采样模型对输入的亮度信号进行采样编码得到脉冲阵列信号，其中，通过循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号；

视觉任务模块，用于将所述脉冲采样编码模块得到的脉冲阵列信号输入已训练的视觉任务模型，以由所述视觉任务模型对所述脉冲阵列信号进行视觉分析，得到分析结果；

其中，通过所述循环神经网络对处理后的亮度信号进行采样编码得到脉冲阵列信号，包括：

通过所述循环神经网络中的积分编码网络对处理后的亮度信号进行积分编码得到积分型脉冲阵列信号；和/或，

通过所述循环神经网络中的差分编码网络对处理后的亮度信号进差分编码得到差分型脉冲阵列信号。