[发明专利]视频处理

说明书

公开了与视频处理有关的装置、方法和计算机程序产品。该装置可包括用于接收表示包括多个帧的视频内容的第一帧的数据以及在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置的构件。该装置还可包括用于基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较来确定要跳过的帧数N并用于将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件的构件。

技术领域

示例性实施例涉及视频处理，例如对用于提供给计算分析模型的视频帧的处理。

背景技术

机器或计算机视觉是许多新兴应用中的有趣且重要的方面。计算机视觉可涉及接收视频帧(可以但不必是实时视频帧)，以及将它们应用到计算分析模型，该计算分析模型例如可基于所接收的视频来识别特定对象或情形，并且甚至可基于分析来做出某些推断和/或决策。

发明内容

为本发明的各种实施例寻求的保护范围由独立权利要求阐明。

本说明书中所描述的没有落入独立权利要求的范围内的实施例和特征，如果有的话，将被解释为对理解本发明的各种实施例有用的示例。

根据第一方面，提供了一种装置，其包括用于执行以下操作的构件：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及将第N+1帧而不是所跳过的帧提供给用于将所述帧应用于图像模型的构件。

在第一帧中确定对象类型和位置可包括：识别第一帧中的多个对象，对于每个对象，在第一帧中确定对象类型和位置，并且其中，确定要跳过的帧数N是基于第一帧中的所有对象的相应的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较。

该构件可进一步被配置为：接收多个帧的视频内容的后续帧，以及对所述后续帧重复确定操作和提供操作。

该构件可被配置为：使用策略模型来确定要跳过的帧数N，该策略模型接收状态参数S作为输入，该状态参数S表示第一帧或任一后续帧中的一个或多个对象的相应的类型和位置。

策略模型可以是预先训练的策略模型。

策略模型可以是使用强化学习方法来预先训练的。

策略模型可以是通过使用强化学习方法和对象检测模型来训练的，其中该强化学习方法将多个训练图像作为输入，该对象检测模型用于确定多个训练图像中的关键帧，其中，该强化学习方法使用奖励函数，该奖励函数针对给定状态奖励所跳过的帧数N的增加，同时惩罚所确定的关键帧的跳过。

对象检测模型可将关键帧确定为其中新对象出现或对象转变发生的帧。

图像模型处理构件可远离该装置。

图像模型处理构件可以是用于分析所提供的帧并用于产生推断输出的计算模型。

本文所定义的构件可包括：至少一个处理器；以及被连接到至少一个处理器的至少一个存储器。

根据另一方面，可提供一种方法，其包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。

根据另一方面，可提供一种非暂时性计算机可读介质，其包括在其上存储的用于执行方法的程序指令，该方法包括：接收表示包括多个帧的视频内容的第一帧的数据；在第一帧中，对于第一帧中的至少一个对象，确定对象类型和位置；基于第一帧中的对象的类型和位置与一个或多个先前帧中的一个或多个对象的类型和位置的比较，确定要跳过的帧数N；以及向视觉模型处理器提供第N+1帧而不是所跳过的帧。