[发明专利]用于图像处理的神经网络对象识别的方法和系统

权利要求书

1.一种由计算机实现的用于图像处理的对象识别方法，包括：

获得捕获的视频序列的帧的图像数据，并包括要被识别并添加到对象的神经网络训练数据库的至少一个对象的内容，以便通过包括特定用户的至少一个所需对象来定制所述神经网络训练数据库；

将这些帧输入到与通用数据库相关联的一般知识神经网络中，以输出与对象的实例相关联的多个候选掩膜；

通过将添加掩膜添加到所述训练数据库来定制所述训练数据库，所述添加掩膜是所述多个候选掩膜中被选择的一个掩膜；

将所述帧输入到实例分割神经网络中以输出分割掩膜；

修改所述实例分割神经网络以形成经修改的实例分割神经网络，其中所述修改至少部分地基于所述训练数据库中的至少一个添加掩膜；以及

通过使用所述经修改的实例分割神经网络来在推理运行时期间执行对象识别。

2.如权利要求1所述的方法，包括：通过将各个候选掩膜与从所述实例分割神经网络输出的分割掩膜进行比较，来确定各个候选掩膜的质量分数。

3.如权利要求2所述的方法，包括：选择具有最高质量分数并且满足至少一个阈值标准的候选掩膜来作为添加掩膜。

4.如权利要求2所述的方法，包括：至少基于颜色直方图比较来计算所述质量分数。

5.如权利要求2所述的方法，包括：至少基于与Jaccard相关的值来计算所述质量分数。

6.如权利要求1所述的方法，包括：根据添加掩膜的帧与正被分析的当前目标帧沿着所述视频序列有多接近，使所述实例分割神经网络局部地适配于来自所述训练数据库的添加掩膜。

7.如权利要求6所述的方法，其中，所述添加掩膜的所述帧越接近所述当前目标帧，所述实例分割神经网络就越有可能要被适配于所述添加掩膜。

8.如权利要求6所述的方法，其中，在距离所述当前目标帧最近的五帧处的添加掩膜具有大约70％的机会被用于适配所述实例分割神经网络，而比所述最近的五帧更远的帧具有更小的机会被用于适配所述实例分割神经网络。

9.如权利要求8所述的方法，其中，所述比所述最近的五帧更远的帧具有大约30％的机会被用于适配所述实例分割神经网络。

10.如权利要求6所述的方法，包括：除了局部适配之外，还使所述实例分割神经网络全局地适配于所述视频序列的基本上每个帧的添加掩膜，使得所述局部适配的添加掩膜被使用多于一次。

11.如权利要求1所述的方法，包括：使所述实例分割神经网络全局地适配于所述视频序列的基本上每个帧的添加掩膜。

12.如权利要求1所述的方法，包括：通过以下操作来利用有监督训练适配所述实例分割神经网络：将来自所述训练数据库的添加掩膜用作到所述实例分割神经网络的输出，以及将具有相应单独添加掩膜的图像数据的帧用作到所述实例分割神经网络的输入。

13.如权利要求1所述的方法，其中，当被输入到所述一般知识神经网络时，所述视频序列中仅一个帧在该帧上具有一个或多个对象的注释。

14.如权利要求1所述的方法，其中，当被输入到所述实例分割神经网络时，所述视频序列中仅一个帧在该帧上具有一个或多个对象的注释。