[发明专利]用于为移动视频生成高保真缩放的方法和装置

说明书

一种生成合成图像的方法包括：在由相机拍摄的视频流的帧中识别与在相机拍摄视频流的滑动窗口时的场景中的移动对象相关联的运动特性。所述方法包括：对于滑动窗口中的多个帧，通过处理电路基于所识别的运动特性控制帧的混合权重，以使得能够根据滑动窗口中的多个帧的被控制的混合权重生成合成图像。

技术领域

本公开大体涉及电子视频处理。更具体地，本公开涉及用于为移动视频生成高保真缩放的方法和装置。

背景技术

由于形状因素的限制，当前存在的几乎所有手机相机都不能够提供光学变焦功能。提供光学变焦需要长焦镜头，这使智能手机的厚度对于一般消费者而言过大。这就是为什么几乎所有智能手机都只在其相机中提供数字缩放功能，在数字缩放功能中，缩放效果仅来自数字方法，而非光学方法。

数字缩放方法通常包括插值算法，例如，双三次插值、多相插值或其他此类方法。这些数字缩放方法一次只处理一帧。数字缩放算法的关键问题在于，对于大缩放因子(例如4倍或更高)，图像中的、在没有缩放的情况下可忍受的伪像和噪声被插值算法增强并放大。这导致图像质量无法被大多数用户接受。

如在标题为“用于为移动电话相机生成高保真数字缩放的方法”的第14/690,046号美国专利申请中所描述的，可以将多个帧一起使用以提供高保真数字缩放(在本公开中称为静止图像的HiFi缩放)。这些方法利用多个帧并且依赖于由于手抖而在相机位置上存在微小差异的事实来最小化来自数字差值的伪像、提高信噪比、提高视频的清晰度和锐度、图像的感知细节和整体感知质量。此类方法非常复杂，并且将这类方法扩展到视频对于本领域技术人员来说并不明确。

发明内容

技术方案

在第一实施方式中，装置包括处理电路。为了生成合成图像，处理电路配置成：在由相机拍摄的视频流的帧中识别与在相机拍摄视频流的滑动窗口时的场景中的移动对象相关联的运动特性；以及对于滑动窗口中的多个帧，基于所识别的运动特性控制帧的混合权重，以使得能够根据滑动窗口中的多个帧的被控制的混合权重生成合成图像。

在第二实施方式中，为了生成合成图像，方法包括：在由相机拍摄的视频流的帧中识别与在相机拍摄视频流的滑动窗口时的场景中的移动对象相关联的运动特性。该方法包括：对于滑动窗口中的多个帧，通过处理电路基于所识别的运动特性控制帧的混合权重，以使得能够根据滑动窗口中的多个帧的被控制的混合权重生成合成图像。

在第三实施方式中，提供了一种包含计算机程序的非暂时性计算机可读介质。为了生成合成图像，该计算机程序包括计算机可读程序代码，该计算机可读程序代码在被执行时使得至少一个处理装置执行以下操作：在由相机拍摄的视频流的帧中识别与在相机拍摄视频流的滑动窗口时的场景中的移动对象相关联的运动特性；以及对于滑动窗口中的多个帧，基于所识别的运动特性控制帧的混合权重，以使得能够根据滑动窗口中的多个帧的被控制的混合权重生成合成图像。

根据以下附图、描述和所附权利要求，其他技术特征对于本领域技术人员可以是显而易见的。