[发明专利]一种增强感兴趣区域的图像超分方法、系统及介质

说明书

本发明公开了一种增强感兴趣区域的图像超分方法、系统及介质，该方法包括获取待超分图像帧对应的参考图像帧；基于参考图像帧确定待超分图像帧对应的第二超分图像帧以及待超分图像帧中的感兴趣区域对应的第一超分图像；基于第一超分图像修正第二超分图像帧。本申请通过预设设置的感兴趣对象查找视频中存在该感兴趣对象的视频帧，对该视频帧中该感兴趣对象的图像进行超分和增强处理，与该视频帧的整体超分融合，以得到高清视频帧，且该高清视频帧中感兴趣区域细节增强，从而极大改善观看效果。

技术领域

本发明涉及图像超分技术领域，具体涉及一种增强感兴趣区域的图像超分方法、系统及介质。

背景技术

近年来，随着人们对更高清的视频以及图片的需求逐渐提高，视频超分辨算法成为了很多应用以及产品的核心技术，比如视频网站的高清点播，老旧低分辨电影的修复，移动端或者电视端的低清视频超分等等。然而，人们在观看过程中人眼往往会将其视觉注意力集中在某一场景中少数感兴趣的对象，例如人脸或者运动的物体，因此，提升局部感兴趣对象的质量能够很大的改善观众的观看体验。

因此，现有技术有待于改进和发展。

发明内容

基于此，针对现有技术中视频观看过程中忽略视觉注意力导致整体观看效果差的技术问题，本发明提供了一种增强感兴趣区域的图像超分方法、系统及介质。

为了达到上述目的，本发明采取了以下技术方案：

一种增强感兴趣区域的图像超分方法，所述增强感兴趣区域的图像超分方法包括以下步骤：

获取待超分图像帧对应的参考图像帧；

基于所述参考图像帧确定所述待超分图像帧中的感兴趣区域对应的第一超分图像；

基于基于所述参考图像帧确定所述待超分图像帧对应的第二超分图像帧；

基于所述第一超分图像修正所述第二超分图像帧。

可选地，所述确定所述待超分图像帧中的感兴趣区域对应的第一超分图像具体包括：

获取预设的感兴趣对象；

检测所述待超分图像帧中是否存在感兴趣对象；

若所述待超分图像帧存在所述感兴趣对象，则确定所述待超分图像帧中所述感兴趣对象对应的感兴趣区域信息；

获取所述待超分图像帧中该感兴趣区域信息对应的感兴趣图像；

获取经过训练的感兴趣区域超分增强模型；

所述感兴趣图像输入至所述感兴趣区域超分增强模型，通过所述感兴趣区域超分增强模型得到所述待超分图像帧中的感兴趣区域对应的第一超分图像。

可选地，所述感兴趣区域超分增强模型的训练具体包括：

构建所述感兴趣区域超分增强模型以及构建第一损失函数；

通过所述第一损失函数修正所述感兴趣区域超分增强模型的参数，得到训练好的感兴趣区域超分增强模型。

可选地，所述第一损失函数采用第一范数作为损失函数，所述第一损失函数的公式表示为：

|O_f-GT_f|₂；

其中，O_f,GT_f分别表示为第一超分图像以及感兴趣图像。

可选地，所述参考图像帧包括前参考图像帧和后参考图像帧，所述前参考图像帧为所述待超分图像帧相邻的前若干帧，所述后参考图像帧为所述待超分图像帧相邻的后若干帧；所述待超分图像帧作为所述前参考图像帧和所述后参考图像帧的中间帧。