[发明专利]用于基于DNN的成像的方法和系统

说明书

提供了一种通过成像设备进行基于DNN的图像处理的方法。该方法包括：由成像设备获得具有多个颜色通道的至少一个输入图像；由成像设备同时从至少一个输入图像的每个颜色通道提取语义信息和从至少一个输入图像的每个颜色通道提取颜色相关性信息；以及由成像设备基于所提取的语义信息和所提取的颜色相关性信息生成至少一个输出图像。

技术领域

本公开涉及图像处理，更具体地，涉及一种用于基于深度神经网络(DNN)的成像的方法和系统。

背景技术

在具有有限计算能力的移动平台上运行复杂的图像处理应用是重要的。现有的用于图像分类和检测的轻量级模型(例如，MobileNet、ShuffleNet等)是颜色信息不变量，因此不适用于复杂的视觉任务，例如弱光增强、去噪、去雾等。此外，现有的轻量级模型导致较差的精确度。

现有的重量级模型(基于台式机)重复使用现有的AlexNet和SqueezeNet架构来为视觉应用提供相当的精度，但是由于大量的存储器和计算需求而不适合在移动平台上进行计算。

此外，用于成像的现有DNN架构(基于移动和台式机)不是通用的。不同的图像使用情况需要不同的DNN架构，这增加了开发和训练时间。因此，使用现有的DNN架构不是高效能的，并且与移动设备平台不兼容。

此外，在用于成像的移动平台上运行基于逐深度卷积神经网络(DCNN)的应用的需求日益增长。然而，移动平台具有有限的计算能力和最小的存储能力。因此，需要具有轻量级、快速和通用的且不牺牲精确性的模型。

颜色恒定性是图像处理流水线的基本块，并且固有地存在于所有基于视觉的应用中，例如自动白平衡(AWB)、语义分割和分类等。用于颜色恒定性的现有技术方法着重于提高精度，但是以推理时间和存储器占用空间为代价。

图1A是具有包括用于图像处理的多个卷积块的神经网络的现有方法的示例。如图1A所示，输入图像通过滤波器1，然后执行第一卷积。该过程继续进行N次卷积，直到产生输出预测。由于在每个块中的卷积操作，这种常规方法具有非常高的计算复杂度。

图1B是具有包括用于图像处理的分解卷积块的神经网络的另一常规方法的示例。如图1B所示，输入图像通过滤波器1，然后进行逐深度卷积，接着进行逐点卷积。常规的方法对于每个卷积操作可以具有低的计算复杂度，但是需要增加许多层以获得更高的精度，这会显著地增加计算时间。因此，需要具有轻量级和更快的且不牺牲精确性的模型。

因此，希望解决上述缺点或其他缺点，或者至少提供一种有用的替代方案。

发明内容

因此，本文的实施例公开了一种用于成像设备的基于DNN的图像处理方法。该方法包括：由成像设备获得具有多个颜色通道的至少一个输入图像。该方法还包括：由成像设备同时从每个颜色通道中提取语义信息，以及从至少一个输入图像的每个颜色通道中提取颜色相关性信息。该方法还包括：由成像设备基于所提取的语义信息和所提取的颜色相关性信息生成至少一个输出图像。

附图说明

在附图中示出了该方法和系统，在所有附图中，相同的附图标记在不同附图中表示相应部分。从以下参考附图的描述中，将更好地理解本文中的实施例，其中：

图1A示出了根据现有技术所公开的实施例的图像处理的框图；

图1B示出了根据现有技术所公开的实施例的图像处理的框图；

图2示出了根据实施例的用于基于DNN的训练的成像设备的框图；

图3A是根据实施例的用于基于DNN的训练的处理器的框图；

图3B示出了根据实施例的基于DNN的成像的示意图；

图4A示出了根据实施例的融合块操作的框图；