[发明专利]一种基于图片边缘信息的多任务手势图片超分辨率方法

说明书

本发明公开了一种基于图片边缘信息的多任务手势图片超分辨率方法，具体包括：输入多组“低分辨率图片‑骨骼关键点”到超分辨率模型中；低分辨率图片经过超分辨率单元和边缘信息单元分别执行图片超分辨率任务和边缘检测任务；超分辨率单元和边缘信息单元得到的特征被送入设计的多尺度特征融合模块进行3个不同尺度的特征融合；通过设计的边缘损失函数和内容损失函数迭代更新模型的参数直至收敛；将待超分的低分辨率图片及其对应的手部骨骼关键点信息输入到该模型中，通过一次前向传递得到最终生成的超分辨率图片。本发明效果好，生成更加符合真实场景的超分辨率图片，可扩展性强高，能够结合最新的超分辨率网络和边缘检测网络提高模型的性能。

技术领域

本发明涉及计算机视觉领域，主要涉及单张图片的超分辨率方法，特别是涉及一种基于图片边缘信息的多任务手势图片超分辨率方法。

背景技术

单张图像超分辨率任务是计算机视觉中的一个典型的逆问题，其目标是从低分辨率(Low Resolution，LR)输入图像中重建高分辨率(High Resolution，HR)图像。图像超分辨率技术在现实世界也有着广泛的应用，如医学图像处理、监控与安全等，除了能够提高图像和视频的质量，图像超分辨率技术还作为其他高级计算机视觉任务(例如图像分割、图像识别、动作定位等)的上游任务，以提高高级计算机视觉任务的性能。

现有通用的超分辨技术存在两个主要的问题：第一类，基于卷积神经网络(CNN)的方法通常使用均方误差(MSE)作为网络的目标函数，这种通过计算HR图像和LR图像像素间距离的方法忽略了大量的图片的高频信息，导致最终生成的图片结构比较模糊；第二类，基于生成式对抗网络的方法保留了图片的高频信息，但是往往会产生图片的扭曲。这两类问题的存在严重地限制了图像超分辨率技术在实际生活中的应用。因此，寻找一种能够减少图像形变并保留图像高频信息的技术是目前图像超分辨率任务亟待解决的问题。

发明内容

本发明的目的是提供一种基于图片边缘信息的多任务手势图片超分辨率方法，以解决上述现有技术存在的问题，使该方法更适合于手势图片的处理。

为实现上述目的，本发明提供了如下方案：

本发明提供一种基于图片边缘信息的多任务手势图片超分辨率方法，包括以下步骤：

信息获取，获取多张高分辨率手势图片，对所述高分辨率手势图片进行数据预处理，获得低分辨率手势图片和手部的骨骼关键点信息；

信息处理，基于所述低分辨率手势图片，构建超分辨率模型，所述超分辨率模型包括边缘信息单元和超分辨率单元，基于所述边缘信息单元对所述低分辨率手势图片进行边缘信息检测，获得边缘特征以及第一边缘信息图；基于卷积块对所述手部骨骼关键点信息进行特征提取后，融入所述超分辨率单元，基于所述超分辨率单元对所述低分辨率手势图片进行超分辨率处理，获得图片特征；

损失函数的确定，将所述边缘特征和所述图片特征输入多尺度特征融合模块，进行三个不同尺度的特征融合，获得超分辨率图片；基于高分辨率图片获得第二边缘信息图，基于所述第一边缘信息图和所述第二边缘信息图获得边缘损失值，基于所述高分辨率图片和所述超分辨率图片获得内容损失值，基于所述边缘损失值和所述内容损失值进行加权求和，获得损失函数；

模型的训练及利用，基于所述损失函数进行一次反向传播并更新所述超分辨率模型的参数，反复迭代直到参数收敛，则所述超分辨率模型训练完成，将需要进行超分辨率的低分辨率手势图片及其对应的手部骨骼关键点信息输入到所述超分辨率模型中，通过一次前向传播得到最终生成的超分辨率手势图片，完成了低分辨率手势图片的超分辨率化。

进一步地，所述数据预处理的方法为：通过双线性插值算法，对所述高分辨率手势图片进行4倍下采样，获得低分辨率手势图片。

进一步地，所述手部骨骼关键点信息包括但不限于：骨骼关键点坐标，所述骨骼关键点坐标的获取方法为：