[发明专利]基于深度学习的眼白图像超分辨率重建与图像增强方法

权利要求书

1.一种基于深度学习的眼白图像超分辨率重建与图像增强的方法，包括：

步骤S1，采集人脸视频、帧采样获取人脸图像；

步骤S2，通过人脸图像提取双眼区域，关键点定位分割左右眼白，获得眼白图像；

步骤S3，通过训练卷积神经网络结合递归神经网络，利用深度学习对眼白图像做超分辨率重建，获得高分辨率眼白图像，识别眼白血管纹理特征；

步骤S4，将RGB空间域的眼白图像转换到HSV空间域，对高分辨率眼白图像做真彩色图像增强；

其中，步骤S3包括：

S31.将RGB眼白图像转换到YCbCr空间域，初始化卷积神经网络；

S32.利用嵌入式网络提取特征补丁，再通过一组预先训练基础表示所述嵌入式网络，嵌入式网络f₁(x)取输入向量x并计算作为递归网络f₂的输入的矩阵输出H₀，所述嵌入式网络为：

f₁(x)＝H₀ (1)

H_-1＝max(0，W_-1*x+b_-1) (2)

H₀＝max(0，W₀*H_-1+b₀) (3)

其中，运算符*表示卷积，W_-1，W₀和b_-1，b₀为重量和偏置矩阵；第一层操作是：

F₁(Y)＝max(0，W₁*y+B₁) (4)

其中，W₁与B₁分别表示滤波器和偏置，W₁对眼白图像应用n₁卷积，输出由n₁特征图组成；B₁是n₁维向量，每个元素与滤波器相关联，在滤波器响应上应用整流线性单元[ReLU(max(0，x))]；

S33.在非线性变换操作中，通过递归网络将步骤S32中提取每个补丁图像块的n₁维特征映射为n₂维：

F₂(Y)＝max(0，W₂*F₁(Y)+B₂) (5)

其中，W₂包含大小为n₁×f₂×f₂的n₂个滤波器，B₂为n₂维向量，每个输出n₂维向量是用于重建的高分辨率补丁的表示；

在非线性变换中的所述递归网络f₂采用输入矩阵H₀并计算矩阵输出H_D；

令g表示由递归层的单个递归建模的函数：

g(H)＝max(0，W*H+b) (6)

复发关系是：

H_d＝g(H_d-1)＝max(0，W*H_d-1+b) (7)

其中，W和b为重量矩阵和偏置矩阵；对于d＝1，…，D，递归网f₂相当于组合相同的基本功能g：

其中，运算符表示函数组合，g^D表示g的D折积；

S34.采用重建网络进行眼白图像超分辨率重建，所述重建网络f₃采用输入隐藏状态H_D并输出目标图像，重建网络是嵌入式网络的逆运算：

H_D+1＝max(0，W_D+1*H_D+b_D+1) (9)

y’＝max(0，W_D+2*H_D+1+b_D+2) (10)

f₃(H)＝y’ (11)

将上述高分辨率补丁聚合成表示已生成最终的高分辨率眼白图像，即定义卷积层以生成最终的高分辨率眼白图像：

F(Y)＝W₃*F₂(Y)+B₃ (12)

其中，W₃是一组线性滤波器，尺寸为n2×f3×f3×c；B₃是c维矢量；

步骤S35，将高分辨率的YCbCr眼白图像转化为RGB图像，再返回到原始眼白图像数据库以确认是否有剩余低分辨率眼白图像未经超分辨率重建工作，若仍有剩余图像未经该步处理，则返回至步骤S31；如果眼白图像数据库没有剩余，则进行步骤S4。