[发明专利]影子数据增强方法及装置、训练方法、存储介质和芯片

说明书

本发明公开了一种影子数据增强方法及装置、训练方法、存储介质和芯片。为解决实际环境中，由于影子噪声，在图像传感器中产生的不被期望的影子数据，本发明在训练脉冲神经网络之前，在样本数据中增加影子数据，包括基于样本数据，确定满足预设条件的像素区域，获得目标范围；选取目标范围外至少一个像素点为影子中心点进行影子数据增强。通过上述方法，得到多样性的含影子噪声的训练数据，以使脉冲神经网络能够适应复杂、多变的实际工作环境，具有更好的精度和稳定性。本发明适于事件相机或类脑计算领域。

技术领域

本发明涉及一种影子数据增强方法及装置、训练方法、存储介质和芯片，具体涉及一种为使脉冲神经网络具有更强准确性、鲁棒性和普适性的数据增强方法、训练方法、存储介质和芯片。

背景技术

脉冲神经网络(SNN)，被誉为第三代神经网络，其模仿大脑运行原理，具有事件驱动特性和丰富的时空动力学特征，计算代价小、功耗低。值得一提的是，神经形态硬件或类脑芯片是非冯诺依曼架构，其并不基于计算机程序而执行传统意义上的各种数学/程序函数计算。

基于事件的成像装置是一种仿生的新型视觉传感器，例如事件相机(eventcamera)、动态视觉传感器(DVS、DAVIS)、基于事件成像的融合传感器等神经形态视觉传感器，后续以事件相机为例，但并不以此为限。不同于传统的帧图像传感器(比如APS传感器)，事件相机不以固定的速率捕捉图像，其每个像素独立工作，根据感受到的光线变化，当光线的强弱变化超出某个阈值时，输出ON事件(光强增大)或OFF事件(光强变弱)，具体可以参考现有技术1：EP3731516A1。

事件相机捕捉场景中的变化/运动信息，输出的事件通常包括事件产生的时间戳(精确到us/ns)、产生事件的像素坐标(x,y)和事件的极性(光强变亮或变暗，或者像素的光电压值即灰度值)，其中，事件的极性在某些情况下可忽略。事件相机基于光强的变化产生事件，其输出只有正负，而没有强度，对于人工神经网络、深度神经网络来说，无法分析事件产生的原因，可能会提供错误的特征信息，影响训练结果。

基于事件相机(或帧图像经过差帧而获得脉冲序列)和脉冲神经网络(SNN)组合的感知与计算方案，可提供一种低功耗(可以低至毫瓦级)、高实时性(可至微秒级)的“感算一体”解决方案，应用于边缘计算、物联网等终端场景，在不联网的情况下实现终端智能。基于事件(event/spike)的成像装置产生的事件流是目前最适合SNN应用的一类数据集，然而目前基于事件相机的数据集，如Neuromorphic-MNIST、DVS-Gesture等规模比较小且应用场景不丰富，如何发展大规模或契合实际使用场景的SNN训练数据集是产业界的难题。

事件相机的成像原理是每个像素点接收来自对应实体空间位置的光线，基于光线变化产生一个事件数据，其对光线变化具有非常高的灵敏性，因此，容易将外界微小的干扰捕捉成噪声事件。尤其是，当光源照射用户时，若在站立的地面或靠近的桌面/墙面/镜子/玻璃等产生影子，若产生的影子在事件相机的视野范围内，当用户做出某个动作时，在地面或墙面等地方存在的影子也会产生事件数据。影子的位置、大小受用户、光源与传感器(也称为镜头)的距离和角度的影响。在实际应用场景中，由于影子出现在视野范围内的情况非常普遍，部署有基于训练数据集得到的网络配置参数的神经形态硬件推理精度的稳定性、鲁棒性不够理想，容易导致推理错误。并且由于环境的复杂性、多变性，本领域技术人员期待神经形态硬件在实际环境下能具有与训练模型同样的精度，以及更好的环境适应能力，录制的训练数据不可能覆盖到所有可能的影子位置和大小，因此需要对训练数据做关于影子的数据增强，以得到多样性的包含影子的训练数据，使得模型具有更好的鲁棒性和环境适应性。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种影子数据增强方法，考虑影子噪声的影响，在样本数据中增加影子数据，包括如下步骤：

基于样本数据，确定满足预设条件的像素区域，获得目标范围；