[发明专利]基于AI检测或分类结果改变音频或视频压缩

说明书

本公开涉及基于AI检测或分类结果改变音频或视频压缩。在一个实施方案中，计算设备从一个或多个相机接收包括多个帧的视频流，其中该视频流以第一质量被接收。该计算设备使用机器学习模型来分析帧中的图像，其中该机器学习模型已被训练以检测图像中的一个或多个感兴趣对象。该计算设备识别包括视频流的连续帧的感兴趣序列，其中在该连续帧中的至少一个帧中检测到至少一个感兴趣对象。该计算设备生成包括该感兴趣序列的视频包。

技术领域

本公开整体涉及机器学习任务，并且更具体地涉及由机器学习任务执行的活动的指示。

背景技术

包括神经网络的机器学习技术可应用于计算机视觉、音频处理和其他领域中的问题。神经网络可用于执行诸如图像分类、对象检测、图像分割和语音识别等任务。神经网络已被训练成使用大型数据集对图像进行分类，该大型数据集包括例如具有地面实况标签的数百万个图像。可对从传感器诸如相机、麦克风等接收的输入执行机器学习技术。传感器可附接到用户的计算设备，诸如膝上型电脑或移动电话。例如，网络摄像头可以捕获用户的视频，并且麦克风可以捕获用户的语音。

发明内容

在特定实施方案中，包括相机的计算设备可用于网络环境中以监测场景。相机可用于捕获场景内的活动的细节。一般来讲，相机可用作安全措施，以在用户需要查看由相机捕获的录像素材的情况下提供材料。然而，该录像素材通常可能不是最佳质量。这可能是需要为一整天、一整周等时间采集的所有材料节省储存空间的结果。如今使用的相机可能能够产生高质量视频，但在许多情况下，出于存储目的的考虑，保持这种质量可能没有意义。其背后的原因在于可能没有足够的存储空间来每周7天地存储24小时视频的高质量视频。另外，多个相机可能正在贡献其各自的视频流，因此如果需要存储每个单独的视频流，则可能存在很大的存储空间需求。可能存在与很大存储空间需求相关联的高成本。为了克服该缺乏足够存储空间的问题并降低与视频流存储空间相关联的成本，通常可压缩整个视频流以将视频的大小减小到可存储在较长期存储装置中的大小。然而，分辨率的降低可能使查看视频流并确定来自视频流的重要细节更加困难。为了解决这一质量降低问题，同时仍然考虑存储容量限制，计算设备可以识别感兴趣序列，以便针对保真度很重要的重要场景保持视频质量。

在特定实施方案中，为了识别感兴趣序列，计算设备可使用机器学习模型来检测与视频流相关联的帧中的图像中的一个或多个感兴趣对象。在特定实施方案中，计算设备可以对视频流的图像帧内的各种检测到的对象进行分类。对象的分类可有助于识别感兴趣序列以及是否保留视频流的视频质量。在特定实施方案中，计算设备可基于分类改变音频或视频压缩。通过选择性地压缩视频流的部分，计算设备可在不显著增加视频流的存储成本的情况下保留感兴趣序列的视频质量。这可有助于通过提高感兴趣序列的视频质量来提高用户查看视频流的能力。

上文所公开的实施方案仅为示例，并且本公开的范围不限于这些实施方案。具体实施方案可包括上文所公开的实施方案的部件、元件、特征、功能、操作或步骤的全部、部分或不包括它们中的任一者。根据本发明的实施方案具体地公开于涉及方法、存储介质、系统和计算机程序产品的所附权利要求中，其中一个权利要求类别(例如，方法)中提及的任何特征也可在另一个权利要求类别(例如，系统)中提出。前面所附权利要求中的从属关系或引用关系仅出于形式原因而选择。然而，由有意引用任何先前权利要求(尤其是多个从属关系)而产生的任何主题也可被要求保护，使得权利要求及其特征的任何组合均被公开并且可被要求保护，而与所附权利要求中所选择的从属关系无关。可受权利要求书保护的主题不仅包括所附权利要求书中所述的特征的组合，而且还包括权利要求中特征的任何其他组合，其中权利要求书中提及的每个特征可与权利要求书中的任何其他特征或其他特征的组合相结合。此外，本文所述或所描绘的实施方案和特征中的任一者均可在单独的权利要求中被要求保护并且/或者与本文所述或所描绘的任何实施方案或特征或与所附权利要求书的任何特征以任何组合形式被要求保护。

附图说明

图1示出了与多个相机设备相关联的示例性网络环境。

图2示出了利用图像执行对象分类的示例性过程。