[发明专利]基于AI的智能图像预处理方法及系统

说明书

一种基于AI的智能图像预处理方法及系统，通过分批次从图像传感器获取传感信号并进行人工智能处理，将处理结果输出至图像传感器进行选择性优化，并由图像传感器将优化后的传感信号输出至图像信号处理器生成数字图像。本发明可针对不同应用和需求灵活调整AI处理方式以及最终成像的策略；此外本发明对图像传感器缓存要求低，只需少量缓存即可完成对整张图片的处理，显著降低了硬件成本和功耗。本发明在对输入图像进行AI处理时能够根据适应场合包含更多垂直方向的像素信息，可在保证不增加硬件成本的前提下，提高智能摄像头在对垂直方向上下文信息较敏感的应用领域的算法性能。包括但不限于人脸检测、行人检测、车辆识别等。

技术领域

本发明涉及的是一种人工智能图像处理领域的技术，具体是一种基于AI的智能图像预处理方法及系统。

背景技术

现有的智能摄像头基于人工智能(AI)技术，通过图像传感器采集原始像素图片，由图像信号处理器(ISP)处理得到RGB彩色图片后再由AI模块对RGB图像进行卷积神经网络(CNN)等处理。在此方案中，AI模块位于ISP后端，AI处理的效果受限于ISP处理的能力。

发明内容

本发明针对现有传感器硬件及带宽的限制使得ISP对图像处理的效果无法满足工业需要，提出一种基于AI的智能图像预处理方法及系统，利用了CNN计算中输入图像与输出特征图在空间位置上具有对应关系的特点，在ISP进行RGB成像前先进行AI处理，使应用方式更加灵活，辅以缓存优化策略，能够在不额外增加硬件资源的前提下，以更好的效率进行AI处理，使更加智能的成像策略成为可能。

本发明是通过以下技术方案实现的：

本发明涉及一种基于AI的智能图像预处理方法，通过分批次从图像传感器获取传感信号并进行人工智能处理，将处理结果输出至图像传感器进行选择性优化，并由图像传感器将优化后的传感信号输出至图像信号处理器生成数字图像。

所述的分批次，按行从图像传感器取像素数据以保证在有限的缓存完成全图的运算。

所述的分批次，优选以不同长度的行从图像传感器取像素数据，经堆叠多行像素以提高对于纵向目标应用的性能。

所述的人工智能处理采用但不限于深度神经网络中的卷积神经网络结构在分批次获得的传感信号上分块进行特征提取。

所述的选择性优化包括但不限于局部压缩、局部放大、动态模糊等处理。

本发明涉及一种基于AI的智能图像预处理系统，包括：设置于图像传感器和ISP之间的用于识别信息的AI模块、缓存模块和行选择模块，其中：行选择模块分别与用于感光的图像传感器和缓存模块相连，控制图像传感器将按选定的行进行扫描并将得到的图像传感信号通过缓存模块保存，AI模块与缓存模块相连并以分批次的形式接收图像传感信号、进行识别处理并输出识别结果至图像传感器，图像传感器将选择性优化后的图像传感信号输出至ISP以生成数字图像。

所述的缓存模块，优选每次输出选定的行的图像传感信号中的一部分至AI模块。

技术效果

与现有技术相比，本发明可针对不同应用和需求灵活调整AI处理方式以及最终成像的策略；此外本发明对图像传感器缓存要求低，只需少量缓存即可完成对整张图片的处理，显著降低了硬件成本和功耗。本发明在对输入图像进行AI处理时能够根据适应场合包含更多垂直方向的像素信息，可在保证不增加硬件成本的前提下，提高智能摄像头在对垂直方向上下文信息较敏感的应用领域的算法性能。包括但不限于人脸检测、行人检测、车辆识别等。

附图说明

图1为本发明ASIC架构示意图；

图2为本发明CNN计算示意图；

图3为按行缓存示意图；

图4为按行部分缓存示意图；