[发明专利]使用中间损失函数训练图像信号处理器

权利要求书

1.一种用于训练图像信号处理器的装置，包括：

待训练的图像信号处理器，所述图像信号处理器用于基于传感器图像来生成重建图像；

中间损失函数生成器，所述中间损失函数生成器用于基于计算机视觉网络和所述计算机视觉网络的副本的一个或多个对应层的输出的比较来生成中间损失函数；和

参数修改器，所述参数修改器用于基于所述中间损失函数来修改所述图像信号处理器的一个或多个参数。

2.如权利要求1所述的装置，其中，所述传感器图像是从原始传感器数据集接收的。

3.如权利要求1所述的装置，包括图像传感器建模器，所述图像传感器建模器用于基于图像来生成所述传感器图像，其中所述图像是从数据集接收的。

4.如权利要求1所述的装置，其中，所述图像信号处理器包括深度学习图像信号处理器网络。

5.如权利要求1所述的装置，其中，所述计算机视觉网络的副本的输出基于与所述传感器图像相对应的图像。

6.如权利要求1-5的任何组合所述的装置，其中，所述计算机视觉网络和所述计算机视觉网络的副本包括经训练的分类器。

7.如权利要求1-5的任何组合所述的装置，其中，所述计算机视觉网络用于处理所述重建图像以生成输出，并且所述计算机视觉网络的副本用于处理与所述重建图像相对应的图像中的图像以生成输出。

8.如权利要求1-5的任何组合所述的装置，其中，所述参数修改器还用于修改所述计算机视觉网络和所述计算机视觉网络的副本的一个或多个参数。

9.如权利要求1-5的任何组合所述的装置，其中，所述比较将由在多个计算机视觉任务上训练的深度学习网络执行。

10.如权利要求1-5的任何组合所述的装置，其中，所述计算机视觉网络的副本的输出基于理想重建图像，所述理想重建图像是通过经由理想图像信号处理器模型处理所述传感器图像来生成的。

11.一种用于训练图像信号处理器的方法，包括：

经由图像信号处理器基于传感器图像来生成重建图像；

经由处理器基于计算机视觉网络和所述计算机视觉网络的副本的一个或多个对应层的输出的比较来生成中间损失函数，其中所述计算机视觉网络的输出基于所述重建图像；和

经由处理器基于所述中间损失函数来训练所述图像信号处理器。

12.如权利要求11所述的方法，包括：经由处理器基于从数据集接收的图像来生成所述传感器图像。

13.如权利要求11所述的方法，包括：

经由处理器基于地面实况和所述计算机视觉网络的输出来生成第一损失函数；

经由处理器基于所述第一损失函数和所述中间损失函数来生成总损失函数；和

经由处理器基于所述总损失函数来训练所述图像信号处理器。

14.如权利要求11所述的方法，其中，所述计算机视觉网络的副本的输出基于与所述传感器图像相对应的图像。

15.如权利要求11所述的方法，其中，训练所述图像信号处理器包括基于预定数目的迭代来减小所述中间损失函数的加权因子。

16.如权利要求11-15的任何组合所述的方法，其中，训练所述图像信号处理器包括修改所述图像信号处理器的一个或多个参数。

17.如权利要求11-15的任何组合所述的方法，其中，训练所述图像信号处理器包括基于特征图相似度来自动调谐一个或多个ISP参数。