[发明专利]视频图像增强方法及其模型训练方法、相关设备

说明书

本申请提供一种视频图像增强方法及其模型训练方法、相关设备，训练方法包括：获取待增强视频流以及增强后视频流；从待增强视频流抽取第t帧待增强图像和第t+k帧待增强图像；将第t帧待增强图像和第t+k帧待增强图像输入待训练的视频图像增强模型，获得待训练的视频图像增强模型输出的第t帧准增强图像和第t+k帧准增强图像；将第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像；根据增强后视频流的图像以及准增强图像计算待训练的视频图像增强模型的监督损失；根据第t帧准增强图像和第t+k帧对齐增强图像计算待训练的视频图像增强模型的时序损失；根据监督损失以及所述时序损失调整所述待训练的视频图像增强模型。本申请实现单帧图像实时增强。

技术领域

本申请涉及图像处理领域，尤其涉及一种视频图像增强方法及其模型训练方法、相关设备。

背景技术

针对视频图像增强除了要实现图像质量属性的改变，如亮度、噪声、对比度等，还要考虑视频的时序一致性以保证视觉效果的连续性。现有的基于深度学习的视频增强方法，不管是离线还是在线增强大都基于多帧输入，即需要同时输入增强帧和其相邻的前后帧，通过对齐和特征融合，利用前后帧时序上的信息，在图像增强的同时考虑时序一致性。这些方法在需要实时输出视频流时会存在如下问题：同时输入前后多帧，势必会造成视频时延；由于视频场景的变换，多帧视频图像之间精确地对齐和有效地融合往往需要很大地计算量。

由此可见，如何实现视频图像增强的同时，减少了时延和模型计算量，以适应实时视频图像增强场景，是本领域技术人员亟待解决的技术问题。

发明内容

本申请为了克服上述现有技术存在的缺陷，提供一种视频图像增强方法及其模型训练方法、相关设备，从而实现视频图像增强的同时，减少了时延和模型计算量，以适应实时视频图像增强场景。

根据本申请的一个方面，提供一种视频图像增强模型训练方法，包括：

获取待增强视频流以及增强后视频流；

从所述待增强视频流抽取第t帧待增强图像和第t+k帧待增强图像，其中，t和k为大于等于1的整数；

将所述第t帧待增强图像和第t+k帧待增强图像输入待训练的视频图像增强模型，获得所述待训练的视频图像增强模型输出的第t帧准增强图像和第t+k帧准增强图像；

将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像；

根据所述增强后视频流的图像以及准增强图像计算所述待训练的视频图像增强模型的监督损失；

根据所述第t帧准增强图像和所述第t+k帧对齐增强图像计算所述待训练的视频图像增强模型的时序损失；

根据所述监督损失以及所述时序损失调整所述待训练的视频图像增强模型。

在本申请的一些实施例中，所述将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像包括：

计算所述第t帧待增强图像和第t+k帧待增强图像之间运动的光流场映射矩阵；

基于所计算的光流场映射矩阵，将所述第t+k帧准增强图像对齐至第t帧，获得第t+k帧对齐增强图像。

在本申请的一些实施例中，所述所述待训练的视频图像增强模型的监督损失根据所述第t帧准增强图像以及所述增强后视频流的第t帧增强图像计算。

在本申请的一些实施例中，所述待训练的视频图像增强模型的时序损失还根据权值模板进行校正，所述权值模板根据所述第t帧待增强图像以及第t+k帧对齐待增强图像，所述第t+k帧对齐待增强图像基于所述第t+k帧待增强图像对齐至第t帧获得。

在本申请的一些实施例中，所述所述第t+k帧待增强图像对齐至第t帧与所述第t+k帧准增强图像对齐至第t帧采用相同的对齐方式。