[发明专利]处理图像以定位新颖对象

权利要求书

1.一种由一个或多个数据处理装置执行的方法，所述方法包括：

对包括多个视频帧的视频的每个视频帧，获得定义视频帧中描绘的对象的位置的训练对象定位数据，包括：

使用已知对象定位系统处理视频帧，所述已知对象定位系统被配置为处理视频帧，以生成定义视频帧中描绘的对象的位置的训练对象定位数据；

对视频进行处理，以对多个视频帧中的每个视频帧生成对应的光流图像，所述光流图像表征视频中的视频帧和后续视频帧之间的视频帧的每个像素的位移；以及

使用：(i)光流图像，以及(ii)定义与光流图像相对应的多个视频帧中描绘的对象的位置的训练对象定位数据，训练光流对象定位系统来处理光流图像，以生成定义在与光流图像相对应的视频帧中描绘的对象的位置的对象定位数据，包括对每个光流图像：

训练光流对象定位系统来处理光流图像，以生成对象定位数据，所述对象定位数据与训练对象定位数据相匹配，所述训练对象定位数据通过使用已知对象定位系统处理与光流图像相对应的视频帧生成。

2.根据权利要求1所述的方法，其中，所述已知对象定位系统包括神经网络。

3.根据权利要求1所述的方法，其中，获得定义视频帧中描绘的对象的位置的训练对象定位数据还包括：

获得定义由人手动标注的视频帧中描绘的对象的位置的对象定位数据。

4.根据权利要求1所述的方法，其中，定义视频帧中描绘的对象的位置的训练对象定位数据包括：

定义环绕视频帧中描绘的对象的位置的边界框的数据。

5.根据权利要求1所述的方法，其中，处理视频以对多个视频帧的每个视频帧生成对应的光流图像包括：

使用直接数值优化方法处理视频以对多个视频帧的每个视频帧生成对应的光流图像。

6.根据权利要求1所述的方法，还包括对每个光流图像：

对由与光流图像相对应的视频帧的训练对象定位数据定义的每个对象位置，确定对象位置处的光流图像中的光流数据的相应方差；以及

通过移除定义对象位置的数据来修改用于训练光流对象定位系统的训练对象定位数据，其中，数据被移除的对象位置处的光流图像中的光流数据的方差不满足阈值。

7.根据权利要求1所述的方法，其中，光流对象定位系统包括神经网络。

8.一种由一个或多个数据处理装置执行的方法，所述方法包括：

处理包括多个视频帧的视频，以对多个视频帧中的每个视频帧生成对应的光流图像，所述光流图像表征视频中的视频帧和后续视频帧之间视频帧的每个像素的位移；

对每个光流图像，使用光流对象定位系统对光流图像进行处理，以生成定义与光流图像相对应的视频帧中描绘的对象的位置的对象定位数据；以及

使用：(i)多个视频帧，以及(ii)光流对象定位系统通过处理与多个视频帧相对应的光流图像而生成的对象定位数据，训练新颖对象定位系统来处理视频帧，以生成定义视频帧中描述的对象的位置的对象定位数据，包括对多个视频帧中的一个或多个：

使用已知对象定位系统处理视频帧，以生成定义视频帧中描绘的对象的位置的对象定位数据，其中，训练已知对象定位系统以定位来自预定的已知对象类集合的对象，已知对象定位系统遗漏的对象被称为新颖对象，并且定位新颖对象的系统被称为新颖对象定位系统；

识别视频帧中描绘的新颖对象的位置，其中，新颖对象的位置：(i)被包括在由光流对象定位系统对视频帧生成的对象定位数据中，并且(ii)不被包括在由已知对象定位系统对视频帧生成的对象定位数据中；以及

训练新颖对象定位系统来处理视频帧，以生成包括定义视频帧中描绘的新颖对象的位置的数据对象定位数据。

9.根据权利要求8所述的方法，其中，处理视频以对多个视频帧的每个视频帧生成对应的光流图像包括：

使用直接数值优化方法处理视频以对多个视频帧的每个视频帧生成对应的光流图像。