[发明专利]一种脉冲阵列信号时空上采样器生成方法

说明书

本发明公开了一种脉冲阵列信号时空上采样器生成方法，包括：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；获取训练用输入信号和训练用输出信号；利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；训练用输入信号为原始脉冲阵列信号，训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号。本发明增加了脉冲阵列的时域采样频率，从而提高了空间分辨率，适用于高速应用需求；增加了脉冲阵列空域采样频率，适用于视觉任务空间分辨率需求。

技术领域

本发明涉及信息处理技术领域，具体涉及一种脉冲阵列信号时空上采样器生成方法。

背景技术

近年来，时空脉冲阵列信号数据在计算神经科学(Computing Neuroscience)、计算机视觉(Computer Vision)、社交媒体(Social Media)、地球大气科学(Earth andClimate Science)、交通运输(Transportation)等领域无处不在，并以海量数据的形式涌现。

脉冲阵列信号由动态视觉传感器DVS(Dynamic Visual Sensor)所采集。DVS是一种仿生视觉传感器，其操作原理基于生物视网膜功能的抽象。动态视觉传感器(DynamicVision Sensor,DVS)是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、低数据冗余、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。

动态视觉传感器相机，每个像素点安装了一个动态视觉传感器，由于硬件条件的限制，所采集的范围往往较小，通常为128×128的低分辨率，难以满足清晰查看某个运动物体的需求，无法保证有效地进行信号处理、分析等应用任务。

与传统相机相比，DVS没有使用固定帧频的数据采样方式，而是异步且独立地将局部强度对比度编码为精确的时间戳事件。一般DVS的时间分辨率为10M event/s，DVS可将高速运动事件记录为空时稀疏事件点阵，而传统相机的固定帧频在高速运动时易产生运动模糊。

在数字信号处理中，上采样与多速率数字信号处理系统中的重采样过程相关。当对信号或其他连续函数的样本序列执行上采样时，它产生将以更高速率(或密度，如照片)对信号进行采样而获得的序列的近似值。对脉冲阵列信号的时空上采样出现在现实世界的各种应用中。例如，当我们想要查看DVS记录的结果时，由于用于显示结果的传感器的物理尺寸有限，这些记录通常只有128×128的低分辨率(Low Resolution,LR)，但我们经常希望看到相应的放大高分辨率(High Resolution,HR)版本。所以需要对这些脉冲阵列信号进行时空上采样。

在传统的计算机视觉中，已经提出了许多上采样算法，如最近邻点插值法、多元回归法、径向基函数法等等，并取得了良好的效果。但几乎所有传统方法都用于处理二维图像，不能直接应用于DVS采集到的脉冲阵列信号。其中一种解决方案是将DVS采集到的脉冲阵列信号转化为一帧帧的图片，再用传统的图片上采样方法，但这种方案会导致DVS相机失去特有的速度快且运动敏感的特性。

发明内容

本公开的一个目的是提供一种脉冲阵列信号时空上采样器生成的新的技术方案。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明的一个方面，提供一种脉冲阵列信号时空上采样器生成方法，包括：

根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；

获取训练用输入信号和训练用输出信号；