[发明专利]彩色图像帧序列中的基于多个神经网络的对象分割

权利要求书

1.一种图像处理装置，包括：

图像传感器，被配置为捕获彩色图像帧序列；

存储器，被配置为存储第一神经网络模型和第二神经网络模型；以及

控制电路系统，被配置为：

基于第一神经网络模型，为彩色图像帧序列中的第一彩色图像帧中的感兴趣对象生成第一前景掩模；

基于第一神经网络模型，为彩色图像帧序列中的与第一彩色图像帧不相邻的即将到来的彩色图像帧中的所述感兴趣对象生成第二前景掩模；

基于第一前景掩模和第二前景掩模的插值来确定第三前景掩模；

通过使用第二神经网络模型，基于所确定的第三前景掩模以及位于第一彩色图像帧和所述即将到来的彩色图像帧之间的中间彩色图像帧，将第三前景掩模更新为第四前景掩模，第四前景掩模表示第三前景掩模的精细的前景掩模；以及

通过使用第一前景掩模从至少第一彩色图像帧、通过使用第二前景掩模从所述即将到来的彩色图像帧以及通过使用第四前景掩模从所述中间彩色图像帧分割所述感兴趣对象。

2.根据权利要求1所述的图像处理装置，其中第一神经网络模型是用图像对集合训练的预先训练的模型，其中图像对集合中的每个图像对包括彩色图像帧和前景掩模图像，以及其中每个图像对至少包括要分割的所述感兴趣对象。

3.根据权利要求1所述的图像处理装置，其中控制电路系统被配置为独立于来自彩色图像帧序列中的任意输入彩色图像的一个或多个先前彩色图像帧或后续彩色图像帧的图像信息，利用第一神经网络模型估计该任意输入彩色图像帧中的所述感兴趣对象的前景掩模。

4.根据权利要求1所述的图像处理装置，其中第一神经网络模型是第一卷积神经网络，并且第二神经网络模型是与第一卷积神经网络不同的第二卷积神经网络。

5.根据权利要求1所述的图像处理装置，其中第一神经网络模型至少在循环时间参数上与第二神经网络模型不同，

其中循环时间参数指示当彩色图像帧序列中的输入彩色图像帧通过神经网络模型时，为该输入彩色图像帧生成输出前景掩模的总时间，以及

其中与第一神经网络模型相比，第二神经网络模型具有更少的循环时间并且更快。

6.根据权利要求5所述的图像处理装置，其中控制电路系统被配置为基于第一神经网络模型的输入-输出图像对来训练第二神经网络模型。

7.根据权利要求1所述的图像处理装置，其中控制电路系统还被配置为基于第一神经网络模型将第一彩色图像帧分类为前景区域和背景区域，其中该前景区域被映射到作为二值图像的所生成的第一前景掩模。

8.根据权利要求1所述的图像处理装置，其中控制电路系统还被配置为基于第一神经网络模型将所述即将到来的彩色图像帧分类为前景区域和背景区域，其中该前景区域被映射到作为二值图像的所生成的第二前景掩模。

9.根据权利要求1所述的图像处理装置，其中所述插值能够是第一前景掩模和第二前景掩模的线性插值。

10.根据权利要求9所述的图像处理装置，其中在第一前景掩模和第二前景掩模的线性插值中，控制电路系统被配置为应用近似操作，其中所述感兴趣对象的对象边界根据第一前景掩模的第一对象边界和第二前景掩模的第二对象边界被近似并归一化，以生成作为二值图像的第三前景掩模。

11.根据权利要求1所述的图像处理装置，其中控制电路系统还被配置为通过使用基于第一神经网络模型生成的、与彩色图像帧序列中的非连续帧的第一集合中的每个帧对应的不同的输出前景掩模，来从非连续帧的第一集合分割所述感兴趣对象，其中该不同的输出前景掩模至少包括第一前景掩模和第二前景掩模。