[发明专利]在摄像机设备上借助于神经网络输入的通过降低视频的位率以节省带宽的智能间隔拍摄视频

说明书

一种用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频的装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于事件；响应于所有的视频帧而生成完整的视频流；以及生成经编码的视频帧。完整的视频帧可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在事件未被检测到时以第一速率选择的，该第二样本是在事件被检测到时以第二速率选择的。

技术领域

本发明总体上涉及计算机视觉，并且更具体地涉及方法和/或装置，该方法和/或装置用于在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的间隔拍摄视频。

背景技术

针对常规的互联网连接的/云实现的摄像机的间隔拍摄视频模式通常由在云服务器上操作的软件实现。该软件依赖于使用云服务器的分布式处理的资源(即，可扩展计算)。以固定的帧速率显示间隔拍摄视频片段以实现快进效果。例如，以固定的间隔选择视频帧以创建间隔拍摄视频(即，从每秒三十帧的视频中选择每第三十个帧来创建间隔拍摄视频)。

互联网连接的/云实现的摄像机对视频数据进行编码，并且然后将经编码的视频流传送到云服务器。在云服务器上使用许多额外的CPU周期以进行以下操作：解码常规的视频流(即，使用AVC编码或HEVC编码的压缩的视频)，以固定的帧间隔提取帧，然后将这些帧转码为间隔拍摄视频。同时，即使利用间隔拍摄视频，用户也难以查找重要的细节。由于间隔拍摄视频始终使用固定的帧速率而不使用所有捕获的视频数据，因此在捕获的视频中的用户感兴趣的内容的持续时间内，以正常的显示速度的视频帧不可用。例如，当安全摄像机观察到潜在的感兴趣的事件(例如，行人)时，间隔拍摄将与当安全摄像机未观察到任何特别感兴趣的事件时相同。

针对住宅安全摄像机、存储即服务(SaaS)摄像机或其他类型的视频安全摄像机，视频会被连续地上载到(在本地或在云上的)服务器。数据的连续上载会导致大量的数据使用。带宽消耗和存储使用高度取决于所记录的视频流的平均位率。用于降低带宽消耗和存储使用的常规方法主要集中于利用各种视频编码器实用程序来降低位率的技术。更多的处理功率被用于更高效的编码技术。然而，不管是否存在事件，来自上载的视频的位在每秒上被平均分配。

将期望的是在摄像机设备上借助于神经网络输入来实现通过降低视频的位率以节省带宽的智能间隔拍摄视频。

发明内容

本发明涉及一种装置，该装置包括接口和处理器。该接口可以被配置为接收由捕获设备生成的像素数据。该处理器可以被配置为进行以下操作：从接口接收像素数据；响应于像素数据而生成视频帧；对视频帧执行计算机视觉操作以检测对象；基于对象的特性来执行对检测到的对象的分类；确定对象的分类是否对应于用户定义的事件；响应于所有的视频帧而生成完整的视频流；以及根据视频帧来生成经编码的视频帧。完整的视频流可以被记录到在装置本地的存储介质。经编码的视频帧可以被传送到云存储服务。经编码的视频帧可以包括视频帧的第一样本和视频帧的第二样本，该第一样本是在用户定义的事件未被检测到时以第一速率选择的，该第二样本是在用户定义的事件被检测到时以第二速率选择的。第二速率可以大于第一速率。

附图说明

根据下面的详细描述和所附权利要求书以及附图，本发明的实施例将是显而易见的。

图1是示出本发明的示例上下文的图。

图2是示出实现本发明的示例实施例的示例互联网连接的摄像机的图。

图3是示出被配置为借助于神经网络来提供以事件为中心的间隔拍摄视频的装置的组件的框图。

图4是示出与云服务器通信的互连的摄像机和用于生成间隔拍摄视频的视频处理管线的图。