[发明专利]用于为移动视频生成高保真缩放的方法和装置

权利要求书

1.一种用于生成合成图像的装置，包括：

相机，配置成以拍摄帧速率拍摄视频流；

至少一个处理器，配置成：

对于由所述相机拍摄的视频流的帧，识别与在所述相机拍摄所述视频流的N个连续帧从而限定出滑动窗口时的场景中的移动对象相关联的运动特性；以及

对于所述滑动窗口中的多个帧，基于所识别的运动特性控制所述多个帧中的每个帧的混合权重，以使得能够根据对于所述滑动窗口中的所述多个帧的被控制的混合权重生成所述合成图像，

其中，所述至少一个处理器还配置成：

在所述滑动窗口中包括所述视频流的至少两个帧；

确定与在所述相机拍摄所述视频流时所述相机的运动相关联的相机运动信息；以及

对于所述视频流的一个或多个帧中的每个帧：

基于所述相机运动信息分析所述帧的变形量，以及

生成指示所述帧的变形量的变形参数的集合；

对于包括所述帧的所述滑动窗口中的帧：

通过将所述变形参数和图像插值技术应用于所述帧来生成变形插值帧，

其中，所述至少一个处理器还配置成：

通过以下方式生成所述合成图像：根据所述滑动窗口中每个帧的被控制的混合权重，将与所述滑动窗口对应的变形插值帧混合到单个混合帧中；以及

生成输出视频流，所述输出视频流包括从所述滑动窗口生成的所述合成图像以及从包括所述视频流的后续N个连续帧的后续滑动窗口生成的后续合成图像，

其中，所述至少一个处理器还配置成：

确定用户选择的缩放倍率，其中，所述用户选择的缩放倍率等于第一部分缩放倍率乘以第二部分缩放倍率；

以所述第二部分缩放倍率放大所述滑动窗口中的每个帧；以及

通过以下方式生成所述变形插值帧：通过应用插值技术以所述第一部分缩放倍率放大所述滑动窗口中的每个帧，使得所述合成图像被调整到所述用户选择的缩放倍率。

2.根据权利要求1所述的装置，其中，所述至少一个处理器配置成：

根据所述拍摄帧速率通过增强所述帧的锐化或滤除所述帧的噪声中的至少一项来预处理所述视频流的每个帧；

通过基于自动聚焦信息控制锐化强度来控制所述视频流的每个帧的所述预处理；

通过以下方式生成所述合成图像：根据所述拍摄帧速率的N倍速率将光度对齐和混合技术应用于所述滑动窗口，以使亮度和色彩与所述滑动窗口中参考帧的亮度和色彩匹配；以及

将特征检测和特征跟踪应用于所述视频流，以选择从所述预处理输出的帧。

3.根据权利要求1所述的装置，其中，所述至少一个处理器配置成：

通过修改所述相机的图像信号处理器来控制所述相机以进行以下项中的至少一项：滤噪、去马赛克配置、锐度增强、缺陷像素校正、色彩控制或曝光控制；

基于相机国际标准化组织参数控制每个帧的混合权重；

基于以下项中的至少一项以高保真视频模式操作：

响应于用户选择的数字缩放倍率超过阈值数字缩放倍率，自动选择所述高保真视频模式，

基于预先选择的质量等级自动选择所述高保真视频模式，

接收到指示选择所述高保真视频模式的用户输入；

通过使用以下项中的至少一项来确定所述相机运动信息：

使用数字分析，

从惯性测量单元接收的惯性度量，或者

来自所述相机的视频稳定信息；

识别电子卷帘快门失真的存在并基于所述视频流和所述相机运动信息确定所述电子卷帘快门失真的参数；以及

基于以下项中的至少一项动态选择每个滑动窗口中连续帧的数量N：

对装置硬件性能进行的预定计算，

相机国际标准化组织参数，或者

场景亮度。

4.根据权利要求1所述的装置，其中，所述至少一个处理器还配置成：

将所述相机运动信息分解为期望相机运动路径和手抖相机运动，

其中，为使得所述期望相机运动路径美观，通过去除突然的抖动生成相机稳定路径以作为所述期望相机运动路径的函数；以及

通过将针对相机运动的变形校正与以下项中的至少一项结合来生成所述变形参数的集合：

对相机运动稳定的变形校正，或者

对电子卷帘快门校正的变形校正。