[发明专利]使用中间损失函数训练图像信号处理器

说明书

本公开涉及使用中间损失函数训练图像信号处理器。在用于训练图像信号处理器的示例方法中，经由图像信号处理器基于传感器图像来生成重建图像。基于计算机视觉网络和计算机视觉网络的副本的一个或多个对应层的输出的比较来生成中间损失函数。计算机视觉网络的输出基于重建图像。基于中间损失函数来训练图像信号处理器。

技术领域

本公开涉及使用中间损失函数(loss function)训练图像信号处理器。

背景技术

图像信号处理器(ISP)可包括具有控制图像处理的多个参数的硬件和软件。例如，可以设计ISP，并且基于客观或主观的图像质量度量来调谐ISP的参数。ISP可以处理捕获的图像以用于计算机视觉任务。

发明内容

根据本公开的一方面，提供了一种用于训练图像信号处理器的装置，包括：待训练的图像信号处理器，所述图像信号处理器用于基于传感器图像来生成重建图像；中间损失函数生成器，所述中间损失函数生成器用于基于计算机视觉网络和所述计算机视觉网络的副本(copy)的一个或多个对应层的输出的比较来生成中间损失函数；以及参数修改器，所述参数修改器用于基于所述中间损失函数来修改所述图像信号处理器的一个或多个参数。

根据本公开的另一方面，提供了一种用于训练图像信号处理器的方法，包括：经由图像信号处理器基于传感器图像来生成重建图像；经由处理器基于计算机视觉网络和所述计算机视觉网络的副本的一个或多个对应层的输出的比较来生成中间损失函数，其中所述计算机视觉网络的输出基于所述重建图像；以及经由处理器基于所述中间损失函数来训练所述图像信号处理器。

根据本公开的又一方面，提供了一种用于训练图像信号处理器的系统，包括：用于基于传感器图像来生成重建图像的装置；用于基于计算机视觉网络和所述计算机视觉网络的副本的一个或多个对应层的输出的比较来生成中间损失函数的装置；以及用于基于所述中间损失函数来修改所述图像信号处理器的一个或多个参数的装置。

附图说明

图1是示出用于使用部分地基于中间损失函数的总损失函数来训练图像信号处理器(ISP)的示例系统的示意图；

图2是示出用于使用部分地基于中间损失函数的总损失函数来训练深度学习ISP的示例系统的示意图；

图3是示出用于使用中间损失函数来训练ISP的示例系统的示意图；

图4是示出用于基于特征图相似度(similarity)来自动调谐ISP的示例系统的示意图；

图5是示出用于使用中间损失函数来训练ISP的方法的流程图；

图6是示出可以使用中间损失函数来训练ISP的示例计算设备的框图；并且

图7是示出了存储用于使用中间损失函数来训练ISP的代码的计算机可读介质的框图。

在整个公开和附图中使用相同的数字来引用相似的组件和特征。100系列中的数字指的是最初在图1中找到的特征；200系列中的数字指的是最初在图2中找到的特征；诸如此类。

具体实施方式

如在上面讨论的，ISP可用于处理捕获的图像以用于各种视觉任务。例如，计算机视觉任务可包括高级视觉任务，诸如对象检测、对象识别、语义分割和图像标题生成等。然而，ISP可以具有基于针对人类视觉的度量来调谐的参数。因此，ISP当在计算机视觉任务中使用时可能不太准确地操作。