[发明专利]时间视频增强方法

说明书

本发明公开了一种时间视频增强方法，包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。

技术领域

本公开涉及视频增强技术领域，更具体地，涉及一种时间视频增强方法。

背景技术

当前的深度学习被用于视频增强技术，例如基于相应图像处理任务的降噪、超分辨率、风格转换、彩色变换和高动态范围(HDR)增强等等。将基于图像的算法独立地应用于每个视频帧的一个显著缺点是可能会出现闪烁，这是由于基于图像的算法的时间不稳定性(temporal instability)造成的。通过将这些方法直接应用于视频来解决这种时间不稳定性可能需要大量的存储和计算资源。

发明内容

一个示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。

另一示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；增强所述多个降低分辨率的视频帧以产生多个增强的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；基于所述至少一个时间特征和所述多个增强的视频帧对所述多个原始视频帧进行空间建模，以输出多个时间稳定的视频帧；以及合并所述多个时间稳定的视频帧。

另一示例性的时间视频增强方法包括：接收多个原始视频帧；降低所述多个原始视频帧的空间分辨率，以产生多个降低分辨率的视频帧；提取所述多个降低分辨率的视频帧的至少一个时间特征；对所述至少一个时间特征进行上采样；以及联合上采样后的至少一个时间特征和所述多个原始视频帧。

附图说明

图1是根据本公开的一个实施例的时间视频增强的示例流程；

图2是根据本公开的一个实施例的时间视频增强的第一示例方法；

图3是根据本公开的一个实施例的时间视频增强的第二示例方法；以及

图4是根据本公开的一个实施例的时间视频增强的第三示例方法。

具体实施方式

下面列出的实施例仅用于说明装置和方法的应用，而不是为了限制范围。对该装置和方法的等效修改应落入权利要求的保护范围内。

本文中使用了某些术语来指代特定的系统部件。如本领域技术人员所理解的，不同的公司可以用不同的名称来指代组件和/或方法。本文不应该区分名称不同但功能相同的组件和/或方法。

在下面的讨论以及权利要求中，术语“包含”和“包括”是以开放的方式使用的，因此可以被解释为“包括但不限于……”。此外，术语“连接”意指间接或直接连接。因此，如果第一装置连接到第二装置，则连接可以通过直接连接，也可以通过其他装置和连接的间接连接。

闪烁可被观看者感知为视频内视频帧的色调或亮度的突然变化。视频由按时间顺序显示的多个视频帧组成。单个视频帧是图像帧。

当前的图像增强技术将单独的视频帧视为孤立的图像帧。对一个单独帧执行的图像增强可能不同于对相邻帧执行的增强，这可能导致差异图像处理，这种差异图像处理可能被视为视频中的闪烁。

在一个示例中，原始视频帧可以是记录的未增强视频帧，即原始视频帧。本示例中的原始视频帧将是全分辨率的视频帧。