[发明专利]视频处理

权利要求书

1.一种装置，包括用于执行以下操作的构件：

接收表示包括多个帧的视频内容的第一帧的数据；

在所述第一帧中，对于所述第一帧中的至少一个对象，确定对象类型和位置；

基于所述第一帧中的所述对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及

将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件。

2.根据任一项前述权利要求所述的装置，其中，在所述第一帧中确定所述对象类型和位置包括：识别所述第一帧中的多个对象，对于每个对象，在所述第一帧中确定所述对象类型和位置，并且其中，确定所述要跳过的帧数N是基于所述第一帧中的所有对象的相应的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较。

3.根据权利要求1或权利要求2所述的装置，其中，所述构件进一步被配置为：接收所述多个帧的视频内容的后续帧，以及对所述后续帧重复所述确定操作和所述提供操作。

4.根据任一项前述权利要求所述的装置，其中，所述构件被配置为：使用策略模型来确定所述要跳过的帧数N，所述策略模型接收状态参数S作为输入，所述状态参数S表示所述第一帧或任一后续帧中的所述一个或多个对象的相应的类型和位置。

5.根据权利要求4所述的装置，其中，所述策略模型是预先训练的策略模型。

6.根据权利要求5所述的装置，其中，所述策略模型是使用强化学习方法来预先训练的。

7.根据权利要求6所述的装置，其中，所述策略模型是通过使用强化学习方法和对象检测模型来训练的，其中所述强化学习方法将多个训练图像作为输入，所述对象检测模型用于确定所述多个训练图像中的关键帧，其中，所述强化学习方法使用奖励函数，所述奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过。

8.根据权利要求7所述的装置，其中，所述对象检测模型将关键帧确定为其中新对象出现或对象转变发生的帧。

9.根据任一项前述权利要求所述的装置，其中，所述图像模型处理构件远离所述装置。

10.根据任一项前述权利要求所述的装置，其中，所述图像模型处理构件是用于分析所提供的帧并用于产生推断输出的计算模型。

11.根据任一项前述权利要求所述的装置，其中，所述构件包括：

至少一个处理器；以及

被连接到所述至少一个处理器的至少一个存储器。

12.一种方法，包括：

接收表示包括多个帧的视频内容的第一帧的数据；

在所述第一帧中，对于所述第一帧中的至少一个对象，确定对象类型和位置；

基于所述第一帧中的所述对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及

向视觉模型处理器提供第N+1帧而不是所跳过的帧。

13.一种非暂时性计算机可读介质，包括在其上存储的用于执行方法的程序指令，所述方法包括：

接收表示包括多个帧的视频内容的第一帧的数据；

在所述第一帧中，对于所述第一帧中的至少一个对象，确定对象类型和位置；

基于所述第一帧中的所述对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及

向视觉模型处理器提供第N+1帧而不是所跳过的帧。