[发明专利]训练方法和训练装置、图像数据处理方法和装置、电子设备及存储介质

说明书

本公开关于图像数据处理模型的训练方法和训练装置。所述训练方法包括：将样本图像数据输入到图像数据处理模型，图像数据处理模型包括图像压缩编码器、图像解码器和图像处理模块，图像压缩编码器对样本图像数据压缩编码，图像解码器对压缩编码的图像数据解码，图像处理模块对解码的图像数据进行图像处理以获取图像处理预测结果；基于图像处理预测结果和与预设目标结果，确定第一损失函数，基于压缩编码的图像数据和图像压缩编码器的压缩参数确定约束条件，并根据第一损失函数和约束条件确定第二损失函数，其中，压缩参数为图像压缩编码器对样本图像数据压缩编码所使用的参数；基于第二损失函数对图像压缩编码器以及图像数据处理模块进行联合训练。

技术领域

本公开涉及图像数据处理技术，更具体地说，涉及一种图像数据处理装置的训练方法和训练装置。

背景技术

基于神经网络的人工智能(AI)推理已经在物联网中得到广泛应用，例如，智能可视门铃等应用可以通过神经网络推理实现人脸识别以及异常行为检测报警等复杂功能。然而，直接在物联网设备上运行神经网络在通常情况下是不可行的。其原因是，这些物联网设备通常成本较低，由电池驱动，运算能力很弱甚至没有。因此，为了实现对物联网数据的AI推理，目前较为常用的技术手段是将物联网设备采集到的图像或视频信息通过无线上行链路传输到边缘计算服务器(例如带有图形处理器(GPU)或者神经网络处理器(NPU) 的移动终端)或者云计算服务器上。对这些图像或视频信息的复杂神经网络推理由这些计算服务器运行。在如上所述的物联网数据AI推理架构中，无线上行链路有限的频谱带宽是整个系统的瓶颈，限制了这种分布式的图像数据处理模型的可扩展性。

发明内容

本公开提供一种图像数据处理模型的训练方法和训练装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。

根据本公开实施例的第一方面，提供一种图像数据处理模型的训练方法，所述训练方法包括：将样本图像数据输入到所述图像数据处理模型，其中，所述图像数据处理模型包括图像压缩编码器、图像解码器和图像处理模块，所述图像压缩编码器对所述样本图像数据进行压缩编码以获取压缩编码的图像数据，所述图像解码器对所述压缩编码的图像数据进行解码以获取解码的图像数据，所述图像处理模块对所述解码的图像数据进行图像处理以获取所述图像处理预测结果；基于所述图像处理预测结果和与所述样本图像数据对应的预设目标结果，确定第一损失函数，基于所述压缩编码的图像数据和所述图像压缩编码器的压缩参数确定约束条件，并根据所述第一损失函数和所述约束条件确定第二损失函数，其中，所述压缩参数为所述图像压缩编码器对所述样本图像数据进行压缩编码所使用的参数；基于所述第二损失函数对所述图像压缩编码器以及所述图像数据处理模块进行联合训练，得到经过训练的图像数据处理模型。

可选地，所述约束条件可为通过使用所述压缩参数对所述样本图像数据进行压缩编码得到的所述压缩编码的图像数据的数据量不大于预设的目标阈值。

可选地，所述基于所述第二损失函数对所述图像压缩编码器以及所述图像数据处理模块进行联合训练，可包括：对所述压缩参数、所述图像处理模块的参数以及对偶变量进行训练，直至所述第二损失函数的值满足预设条件，其中，所述对偶变量是通过使用拉格朗日乘子法对由所述第一损失函数和所述约束条件构成的最优化模型进行转化时产生的。

可选地，所述压缩参数可以是所述图像压缩编码器的频谱量化表。

可选地，所述频谱量化表可以是通过将所述频谱量化表中的取整函数近似为可导函数而得到的。

可选地，用于确定所述压缩编码的图像数据的数据量的数据量函数可以是通过将所述数据量函数中的至少一个不可导函数近似为可导函数而得到的。