[发明专利]双模态图像信号处理器和双模态图像信号处理系统

说明书

本发明实施例公开了一种双模态图像信号处理器和双模态图像信号处理系统，该双模态图像信号处理器包括：同步图像信号处理器，用于处理双模态图像信号中的同步信号；异步图像信号处理器，用于处理双模态图像信号中的异步信号；神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。上述方案中的双模态图像信号处理器可以同时对双模态图像信号中的同步信号和异步信号进行处理，可以在高速拍摄图像时实现很高的信号保真度，同时可以实现高动态范围和高时间分辨率。而且，利用神经网络单元可以在保证低功耗的基础上，实时标记感兴趣区域等人工智能相关任务。

技术领域

本发明实施例涉及图像传感技术领域，尤其涉及一种双模态图像信号处理器和双模态图像信号处理系统。

背景技术

传统的图像信号处理器(Image Signal Processor，ISP)一般包括有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器仅能实现以像素矩阵图像帧方式排列的彩色图像的处理，具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器能够对动态场景进行感知，具有拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差，分辨率较低。传统的图像信号处理器无法同时对有源像素传感器信号和动态视觉感受器信号进行处理，并且，传统的图像信号处理器未集成片上神经网络，无法实现人工智能相关的图像处理任务。

现有技术中的智能图像信号处理器仅能够支持处理传统有源像素传感器采取的彩色图像，不能支持同时处理类似动态视觉传感器采取的具有稀疏事件的图像信息，进而无法充分利用基于事件的图像信号中的稀疏性、高速和高动态范围特性，从而无法保证图像的处理效果和图像的质量。此外，目前的智能图像信号处理器仅能够支持以卷积神经网络为代表的人工神经网络(Artificial Neural Network，ANN)，实现传统彩色图像的机器学习任务，但是彩色图像信息的数据量大，具有人工神经网络的智能图像信号处理器难以在保证图像处理效果和低功耗的同时提高彩色图像信息的帧率，进而无法实现高速且低功耗地处理图像信息。

发明内容

本发明提供一种双模态图像信号处理器和双模态图像信号处理系统，以提高双模态图像信号处理器的时效性、时间分辨率以及降低功耗，实时标记感兴趣区域、目标识别等人工智能相关任务。

第一方面，本发明实施例提供了一种双模态图像信号处理器包括：

同步图像信号处理器，用于处理双模态图像信号中的同步信号；

异步图像信号处理器，用于处理双模态图像信号中的异步信号；

神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。

进一步地，神经网络单元包括人工神经网络子单元和脉冲神经网络子单元；

人工神经网络子单元用于根据人工神经网络算法处理同步图像信号处理器输出的同步信号，脉冲神经网络子单元用于根据脉冲神经网络算法处理异步图像信号处理器输出的异步信号。

进一步地，神经网络单元还包括融合子单元，融合子单元用于融合人工神经网络子单元输出的同步信号和脉冲神经网络子单元输出的异步信号形成融合信号，并根据脉冲神经网络算法处理融合信号。

进一步地，异步图像信号处理器包括异步信号编码单元，异步信号编码单元用于对双模态图像信号中的异步信号进行编码。

进一步地，异步图像信号处理器还包括像素一致性校正单元，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元。

进一步地，异步图像信号处理器还包括第一黑电平校正单元；