[发明专利]提供移动设备的改进的视频稳定性的方法、系统和介质

说明书

所公开技术包括用于在移动设备上提供改进的视频稳定性的技术。使用所述移动设备的陀螺仪数据，可以随时间估计所述移动设备的物理相机定向。使用所述物理相机定向和历史数据，可以使用非线性滤波器对表示已去除不期望旋转移动的相机定向的对应虚拟相机定向进行建模，以提供真实图像到稳定虚拟图像的映射。可以修改所述虚拟相机定向以防止未定义像素出现在输出图像中。

相关申请的交叉引用

本PCT国际申请要求2016年9月19日提交的No.15/269,447号美国非临时专利申请的优先权和权益。上述申请的全部内容特此通过引用合并与此，如同在此完全阐述一样。

技术领域

本公开大体涉及提供移动设备的改进的视频稳定性的方法、系统和介质。

背景技术

诸如智能电话的手持式移动设备通常包括使用户能够记录数字视频的摄像机。然而，记录在手持式移动设备上的数字视频经常包括由于用户在记录期间摇晃或不稳定的手移动而导致的不期望的运动。由于数码相机使用滚动快门传感器，因此可能出现其它失真，例如，摆动和倾斜。可能由称为聚焦呼吸的现象引起其它失真，其涉及当改变镜头的对焦距离时发生的焦距变化，从而导致图像边界意外地偏移。

各种视频稳定技术试图校正这些问题中的一些问题，但是已知技术受到各种限制。例如，试图从视频输入估计相机运动的基于图像的分析并不总是可靠，因为视频帧中的噪声、模糊以及主要对象的存在可能导致相机运动的不可靠估计。一些解决方案对电影摄影机起作用或可以在后期制作时执行，但是由于这些设备的固有有限的计算资源，这些解决方案并不适用于移动设备上的实时操作。许多移动设备解决方案也无法在预览和视频中实现一致效果，从而导致最终的视频合成看起来与用户在记录时可以看到的不同。例如，一些移动设备视频稳定技术使用高斯滤波器来模拟相机的运动，这样不会产生高质量的结果。

因此，需要提供一种视频稳定技术，所述视频稳定技术可以更精确地模拟相机的运动以消除不期望的移动、滚动快门失真、未限定的黑色边界以及从视频的聚焦呼吸，以在移动设备上产生高质量视频，使得移动设备的预览视图和对应视频流实时稳定。

发明内容

为了克服现有技术中存在的缺陷，本公开的一个示例方面涉及一种方法，所述方法可以包括：通过计算设备接收表示与相机相关联的第一输入帧的第一陀螺仪数据和第一图像数据；通过所述计算设备接收表示与所述相机相关联的第二输入帧的第二陀螺仪数据和第二图像数据；通过所述计算设备基于所述第一陀螺仪数据，确定第一物理相机定向估计，所述第一物理相机定向估计与所述第一输入帧相关联；通过所述计算设备基于所述第二陀螺仪数据，确定第二物理相机定向估计，所述第二物理相机定向估计与所述第二输入帧相关联；通过所述计算设备基于所述第二物理相机定向估计，确定与所述第二输入帧相关联的校正相机定向，其中与所述第二输入帧相关联的所述校正相机定向表示被调整以去除不期望的相机移动的相机定向；以及基于与所述第二输入帧相关联的所述校正相机定向，通过所述计算设备生成输出帧。

本公开的另一示例方面涉及一种系统，包括：一个或多个处理器；存储器，所述存储器耦合到所述一个或多个处理器并且存储指令，所述指令在由所述一个或多个处理器执行时使所述系统执行一种方法，所述方法可以包括：通过计算设备接收表示与相机相关联的第一输入帧的第一陀螺仪数据和第一图像数据；通过所述计算设备接收表示与所述相机相关联的第二输入帧的第二陀螺仪数据和第二图像数据；通过所述计算设备基于所述第一陀螺仪数据，确定第一物理相机定向估计，所述第一物理相机定向估计与所述第一输入帧相关联；通过所述计算设备基于所述第二陀螺仪数据，确定第二物理相机定向估计，所述第二物理相机定向估计与所述第二输入帧相关联；通过所述计算设备基于所述第二物理相机定向估计，确定与所述第二输入帧相关联的校正相机定向，其中与所述第二输入帧相关联的所述校正相机定向表示被调整以去除不期望的相机移动的相机定向；以及基于与所述第二输入帧相关联的所述校正相机定向，通过所述计算设备生成输出帧。