[发明专利]图像处理装置、图像处理方法和机器可读存储介质

说明书

本公开涉及一种图像处理装置、图像处理方法和机器可读存储介质。图像处理装置包括：第一获取单元，通过第一分割模型得到图像中的基础类别的对象的伪标签；第二获取单元，获得图像中的新类别的对象的新标签；处理单元，基于伪标签和新标签得到用于基础类别和新类别的对象的分割的第二分割模型；第一计算单元，通过第一分割模型计算与图像中的基础类别的对象有关的第一参数的第一数据集；第二计算单元，通过第二分割模型计算与图像中的基础类别的对象有关的第一参数的第二数据集；以及比较单元，比较第一数据集和第二数据集，并向第二计算单元提供比较信息以修改第二分割模型。该图像处理装置可以很好地实现实例分割的增量学习。

技术领域

本公开涉及图像处理的技术领域，具体地涉及用于增量学习的图像处理装置、图像处理方法和机器可读存储介质。

背景技术

这个部分提供了与本公开有关的背景信息，这不一定是现有技术。

人类一生都有获取、调整和传递知识的能力。新知识的学习将对他们所学的知识产生灾难性的影响。这种学习能力称为增量学习能力。在机器学习领域，增量学习旨在解决模型训练的一个常见缺陷：灾难性遗忘。也就是说，当一般的机器学习模型(特别是基于反向传播的深度学习方法)在新任务上训练时，它们在旧任务上的性能通常会显著降低。为了克服灾难性遗忘，希望该模型一方面要表现出整合新知识和从新数据中提取现有知识的能力(可塑性)，另一方面要防止新输入对现有知识的显著干扰(稳定性)。这两个相互冲突的要求构成了所谓的“稳定性-可塑性困境”。

解决灾难性遗忘的最简单方法是利用所有已知数据重新训练网络参数，以适应数据分布随时间的变化。虽然从头算训练模型可以完全解决灾难性遗忘问题，但这种方法的效率很低，极大地阻碍了模型对新数据的实时学习。增量学习的主要目标是在有限的计算和存储资源条件下，在稳定性-可塑性困境中找到最有效的平衡点。

目前，增量学习大致可以分为三种方法，即基于规则的学习、基于预演的学习和基于偏差修正的学习。在语义分割和实例分割领域，很少涉及增量学习方法。

发明内容

这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。

本公开的目的在于提供一种用于对象分割的增量学习的图像处理装置、图像处理方法和机器可读存储介质。本申请从一个新颖的角度解决了对象分割的类增量学习问题。

根据本公开的一方面，提供了一种图像处理装置，包括：第一获取单元，通过第一分割模型得到图像中的基础类别的对象的与对象分割有关的伪标签，第一分割模型用于基础类别的对象的分割；第二获取单元，获得图像中的与基础类别不同的新类别的对象的与对象分割有关的新标签；以及处理单元，基于伪标签和新标签得到用于基础类别和新类别的对象的分割的第二分割模型。其中，第一分割模型和第二分割模型通过神经网络实现，并且图像处理装置还包括：第一计算单元，通过第一分割模型计算与图像中的基础类别的对象有关的第一参数的第一数据集；第二计算单元，通过第二分割模型计算与图像中的基础类别的对象有关的第一参数的第二数据集；以及比较单元，比较第一数据集和第二数据集，并向第二计算单元提供比较信息以修改第二分割模型。

根据本公开的另一方面，提供了一种图像处理方法，包括：通过第一分割模型得到图像中的基础类别的对象的与对象分割有关的伪标签，第一分割模型用于基础类别的对象的分割；获得图像中的与基础类别不同的新类别的对象的与对象分割有关的新标签；以及基于伪标签和新标签得到用于基础类别和新类别的对象的分割的第二分割模型。其中，第一分割模型和第二分割模型通过神经网络实现，并且图像处理方法还包括：通过第一分割模型计算与图像中的基础类别的对象有关的第一参数的第一数据集；通过第二分割模型计算与图像中的基础类别的对象有关的第一参数的第二数据集；以及通过比较第一数据集和第二数据集来修改第二分割模型。

根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。