[发明专利]一种图像处理方法及装置

说明书

本申请实施例公开了一种图像处理方法及装置，所述方法包括：获取训练样本集，所述训练样本集包括至少一个彩色样本图像，以及至少一个与所述彩色样本图像对应的深度样本图像；将所述训练样本集输入图像处理模型进行处理，所述图像处理模型包括彩色图像处理模型以及深度图像处理模型，所述彩色图像处理模型用于对所述彩色样本图像进行处理得到彩色重构图像，所述深度图像处理模型用于对所述深度图像进行处理得到深度重构图像；基于所述彩色样本图像、所述彩色重构图像、所述深度样本图像与所述深度重构图像确定所述图像处理模型的第一损失参数，并基于所述第一损失参数调整所述深度图像处理模型，得到训练后的深度图像处理模型。

本申请是申请日为2019年04月28日的中国专利申请号201910351289.4、发明名称为“一种图像处理方法及装置”的分案申请。

技术领域

本申请涉及机器人技术，尤其涉及一种图像处理方法及装置。

背景技术

机器人学习的研究主要分为监督学习和强化学习两个方向，其中监督学习又有模仿学习和自监督学习等细分方向。模仿学习方法通过收集专家的示教信息来训练网络模型，缺点是需要大量专家示教信息，且通常假设环境是已知和有限的，对于现实中开放而复杂的场景效果不好；自监督学习则是通过机器人试错实验来采集标注数据，缺点试错实验成功率低，采集数据非常低效，而且在真实环境中试错会存在安全风险。强化学习方法通过机器人大量的探索来学会完成指定的任务，缺点是需要的探索次数非常多，在现实中几乎不可能完成。

现有机器人学习过程中是直接使用彩色图像作为网络模型输入，通过生成对抗网络(Generative Adversarial Networks，GAN)模型来学习到一个能对输入的RGB图像进行良好编码的编码器，再将编码器的输出输入到长短期记忆网络(Long Short-Term Memory，LSTM)模型中，让网络学会完成一个序列的动作。该方法的缺点是所需数据量仍然很大，共计采集了约2500次专家示教范例。该方法采集数据非常耗时，可能会出现机器人物理损耗，而且专家示教的场景和动作是有限的，机器人无法对不熟悉的场景作出合适预测。因此，如何高效快速地采集数据，以及如何通过少量数据训练一个效果良好的网络模型，是机器人技术亟待解决的技术问题。

发明内容

为解决上述技术问题，本申请实施例期望提供一种图像处理方法及装置。

本申请的技术方案是这样实现的：

第一方面，提供了一种图像处理方法，该方法包括：获取训练样本集，所述训练样本集包括至少一个彩色样本图像，以及至少一个与所述彩色样本图像对应的深度样本图像；

将所述训练样本集输入图像处理模型进行处理，所述图像处理模型包括彩色图像处理模型以及深度图像处理模型，所述彩色图像处理模型用于对所述彩色样本图像进行处理得到彩色重构图像，所述深度图像处理模型用于对所述深度图像进行处理得到深度重构图像；

基于所述彩色样本图像、所述彩色重构图像、所述深度样本图像与所述深度重构图像确定所述图像处理模型的第一损失参数，并基于所述第一损失参数调整所述彩色图像处理模型，得到训练后的彩色图像处理模型。

这样，利用彩色图像和深度图像同时作为训练样本具有信息互补的作用，能够以较少的训练样本训练出效果良好的彩色图像处理模型，采用分步训练的方式能够降低训练难度，提高训练效率。

上述方案中，所述方法还包括：基于所述第一损失参数调整所述深度图像处理模型，得到训练后的深度图像处理模型。

这样，在图像处理模型训练过程中，可以同时训练彩色图像处理模型和深度图像处理模型，利用训练后的深度图像处理模型监督训练彩色图像处理模型，能够同时提高二者的训练效果。