[发明专利]基于眼部图像识别弱视的方法及系统

权利要求书

1.一种基于眼部图像识别弱视的方法，其特征在于，包括：

从获取的脸部图像中获取眼部区域图像；

使用第一卷积神经网络对所述眼部区域图像提取特征，运算出眼部位置，使用第二卷积神经网络对所述眼部区域图像提取特征，得到所述眼部区域图像的特征图，并根据得到的眼部位置从所述特征图中获取眼部特征；

对获得的眼部特征进行反卷积处理，使用第三卷积神经网络对反卷积处理得到的图像提取特征，运算出瞳孔位置，使用第四卷积神经网络对反卷积处理得到的图像提取特征，得到该图像的特征图，并根据得到的瞳孔位置从该图像中获取瞳孔特征；

根据获得的瞳孔特征运算出眼部是否有弱视问题的结果。

2.根据权利要求1所述的基于眼部图像识别弱视的方法，其特征在于，使用依次级联的第五卷积神经网络、第六卷积神经网络和第七卷积神经网络对所述脸部图像处理，从所述脸部图像中获取眼部区域图像；

所述第五卷积神经网络用于对所述脸部图像运算处理，根据所述脸部图像计算出一系列将脸部框出的边界框以及一系列将眼部框出的边界框；

所述第六卷积神经网络用于对所述脸部图像运算处理，根据所述第五卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第五卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框；

所述第七卷积神经网络用于对所述脸部图像运算处理，根据所述第六卷积神经网络输出的一系列将脸部框出的边界框筛选出更准确的将脸部框出的边界框，根据所述第六卷积神经网络输出的一系列将眼部框出的边界框筛选出更准确的将眼部框出的边界框。

3.根据权利要求2所述的基于眼部图像识别弱视的方法，其特征在于，所述第五卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；

所述第六卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框；

所述第七卷积神经网络具体用于根据边界框的回归值对获得的边界框进行校准，和/或使用非极大值抑制法合并重叠的边界框。

4.根据权利要求1所述的基于眼部图像识别弱视的方法，其特征在于，根据获得的瞳孔特征运算出眼部是否有弱视问题的结果包括：将获得的瞳孔特征输入到预先训练好的分类器内，由所述分类器输出眼部是否有弱视问题的结果。

5.根据权利要求4所述的基于眼部图像识别弱视的方法，其特征在于，训练所述分类器使用以下损失函数，表示为：

其中，L_AMS表示损失函数，m用于反向传播时调节特征间的距离，n表示训练样本数，c表示分类的类别数，s表示缩放因子，cosθ_yi表示类yi的中心向量与其边界向量的余弦值，cosθ_j表示类j的中心向量与其边界向量的余弦值。

6.根据权利要求1-5任一项所述的基于眼部图像识别弱视的方法，其特征在于，还包括：根据获取的所述脸部图像识别所述脸部图像对应用户的身份，具体包括：

使用预设卷积神经网络对所述脸部图像处理，计算得到用于描述所述脸部图像的特征表示；

计算所述脸部图像的特征表示与预先存储的已知身份用户的特征表示的差异量，根据两者的差异量判断所述脸部图像对应用户是否为已知身份用户，以识别所述脸部图像对应用户的身份。

7.根据权利要求6所述的基于眼部图像识别弱视的方法，其特征在于，在使用预设卷积神经网络对所述脸部图像处理之前还包括：对所述脸部图像进行相似性变换，使所述脸部图像的各脸部关键点位置与所述预设卷积神经网络要求的输入图像的各脸部关键点位置一致，变换矩阵表示为：

其中，s表示缩放因子，r₁₁、r₁₂、r₂₁和r₂₂表示旋转因子，t_x和t_y表示平移因子。