[发明专利]一种基于图片边缘信息的多任务手势图片超分辨率方法

权利要求书

1.一种基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：包括以下步骤：

信息获取，获取多张高分辨率手势图片，对所述高分辨率手势图片进行数据预处理，获得低分辨率手势图片和手部的骨骼关键点信息；

信息处理，基于所述低分辨率手势图片，构建超分辨率模型，所述超分辨率模型包括边缘信息单元和超分辨率单元，基于所述边缘信息单元对所述低分辨率手势图片进行边缘信息检测，获得边缘特征以及第一边缘信息图；基于卷积块对所述手部骨骼关键点信息进行特征提取，获得手部骨骼关键点特征；基于所述超分辨率单元对所述低分辨率手势图片进行超分辨率处理，获得图片特征；

在所述信息处理中，对所述手部骨骼关键点信息进行特征提取，采用三个卷积块进行特征提取，每一个卷积块获取的手部骨骼关键点特征将会与超分辨率单元中每一层的输出进行融合；

所述超分辨率单元采用卷积核为的二维卷积，包括四个卷积块；所述超分辨率单元前三层的输出均分别与手部骨骼关键点特征进行融合；

所述边缘信息单元包括四层，第一层采用卷积，其余层采用多尺度残差块；

所述多尺度残差块包括但不限于：两个卷积核大小为3的卷积块、两个卷积核大小为5的卷积块和一个1x1的降维卷积层；

所述超分辨率单元和边缘信息单元还会构成动态多任务结构，所述动态多任务结构用于超分辨率单元和边缘信息单元同步进行，将所述边缘信息单元获取的所述边缘特征辅助增强所述超分辨率单元，并加入所述手部骨骼关键点坐标作为辅助特征；

在所述模型构建中，进行三个不同尺度的特征融合时，先采用16个含有残差模块的残差组进行三个不同尺度的特征提取，再进行融合；

损失函数的确定，将所述边缘特征和所述图片特征输入多尺度特征融合模块，进行三个不同尺度的特征融合，获得超分辨率图片；基于高分辨率图片获得第二边缘信息图，基于所述第一边缘信息图和所述第二边缘信息图获得边缘损失值，基于所述高分辨率图片和所述超分辨率图片获得内容损失值，基于所述边缘损失值和所述内容损失值进行加权求和，获得损失函数；

模型的训练及利用，基于所述损失函数进行一次反向传播并更新所述超分辨率模型的参数，反复迭代直到参数收敛，则所述超分辨率模型训练完成，将需要进行超分辨率的低分辨率手势图片及其对应的手部骨骼关键点信息输入到所述超分辨率模型中，通过一次前向传播得到最终生成的超分辨率手势图片，完成了低分辨率手势图片的超分辨率化。

2.根据权利要求1所述的基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：所述数据预处理的方法为：通过双线性插值算法，对所述高分辨率手势图片进行4倍下采样，获得低分辨率手势图片。

3.根据权利要求1所述的基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：所述手部骨骼关键点信息包括但不限于：骨骼关键点坐标，所述骨骼关键点坐标的获取方法为：

使用OpenPose工具对所述高分辨率手势图片和所述低分辨率手势图片进行骨骼关键点坐标的获取，无法获取所述骨骼关键点坐标的位置使用（-1，-1）坐标表示。

4.根据权利要求3所述的基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：采用所述获取方法，获取21个骨骼关键点坐标，分别计算每一个所述骨骼关键点坐标和对应的低分辨率图片上每一个像素坐标之间的距离，获得每个所述骨骼关键点坐标对应的热力图数据，将21个所述骨骼关键点坐标对应的热力图数据进行图片深度上的叠加，获得所述骨骼关键点坐标的输入数据。

5.根据权利要求1所述的基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：所述第一边缘信息图为像素数目和高分辨率图片相同的边缘信息图。

6.根据权利要求1所述的基于图片边缘信息的多任务手势图片超分辨率方法，其特征在于：在所述模型构建中，进行一次反向传播具体包括：

使用Adam优化器对所述损失函数进行梯度的反向传播，更新所述超分辨率模型的参数，直到最终模型的损失不再变化，则完成模型的训练。